Mit der zunehmenden Integration von Künstlicher Intelligenz in Suchsysteme entstehen neue Anforderungen an den Umgang mit Webinhalten. Plattformen wie ChatGPT, Gemini, Claude oder Perplexity greifen zunehmend direkt auf Websites zu, um Antworten auf Nutzeranfragen zu generieren. Doch nicht jeder Inhalt soll in ChatGPT und Co auftauchen oder gar für die Trainings der Sprachmodelle genutzt werden.
Die Datei llms.txt bietet eine Möglichkeit, diese Zugriffe gezielt zu steuern.
Funktion und Zweck der llms.txt
Die llms.txt („Large Language Models Specification“) ist eine Erweiterung des bekannten Konzepts der robots.txt.
Während die robots.txt klassische Suchmaschinen wie Google oder Bing adressiert, richtet sich die llms.txt an KI-Crawler, die Webseiteninhalte für generative Antworten analysieren oder semantisch erfassen.
Mit der Datei können Websitebetreiber festlegen, ob KI-Systeme die Inhalte auslesen dürfen, ob diese Informationen in Suchantworten erscheinen dürfen, und ob die Inhalte für das Training von Sprachmodellen verwendet werden dürfen.
Eine llms.txt-Datei kann wie folgt aussehen:
# ============================================
# llms.txt - Policy für KI-Systeme (AI Crawlers)
# ============================================
# Diese Datei erlaubt KI-Systemen (LLMs) das Lesen der Inhalte dieser Website
# zur Anzeige, Zitierung und semantischen Einordnung,
# untersagt jedoch die Nutzung zu Trainingszwecken von KI-Modellen.
# ============================================
# Allgemeine Richtlinie
User-agent: *
Allow: /
# Spezifische KI-Crawler und Richtlinien
# ChatGPT / OpenAI
User-agent: GPTBot
Allow: /
Policy: noai-training
# OpenAI ChatGPT Search (ChatGPT-User / Browse)
User-agent: ChatGPT-User
Allow: /
Policy: cite-only
# Google Generative Systems (Gemini, SGE)
User-agent: Google-Extended
Allow: /
Policy: no-training, cite-only
# Anthropic Claude
User-agent: ClaudeBot
Allow: /
Policy: no-training, cite-only
# Perplexity AI
User-agent: PerplexityAI
Allow: /
Policy: cite-only
# You.com (YouBot / YouChat)
User-agent: YouBot
Allow: /
Policy: cite-only
# DuckDuckGo AI Chat
User-agent: DuckAssist
Allow: /
Policy: cite-only
# NeevaAI / Brave Search
User-agent: NeevaAI
Allow: /
Policy: cite-only
User-agent: BraveBot
Allow: /
Policy: cite-only
# Allgemeiner Hinweis
# Die Inhalte dieser Website dürfen von KI-Systemen gelesen, analysiert und zitiert,
# jedoch nicht für das Training eigener Sprachmodelle verwendet werden.
# Quellenangaben und Backlinks sind ausdrücklich erwünscht.
Diese Konfiguration erlaubt das Einlesen und Zitieren der Inhalte durch KI-Systeme, untersagt jedoch deren Verwendung zu Trainingszwecken.
Relevanz für moderne Sichtbarkeit
Die Bedeutung der llms.txt wächst mit der Entwicklung sogenannter generativer Suchsysteme.
Webseiten, die den Zugriff von KI-Crawlern zulassen, haben eine höhere Wahrscheinlichkeit, in KI-gestützten Suchergebnissen oder in generierten Antwortvorschlägen berücksichtigt zu werden.
Damit wird die llms.txt zu einem neuen Instrument im Bereich AI-SEO – also der Optimierung von Inhalten für KI-basierte Suchsysteme.
