Die robots.txt ist ein etablierter Standard aus dem Jahr 1994. Sie liegt im Wurzelverzeichnis und legt fest, welche Bereiche einer Website von Crawlern besucht werden dürfen und welche nicht. Sie arbeitet mit Anweisungen wie Allow und Disallow für bestimmte User-Agents.
Diese Definition von robots.txt ordnet den Begriff in den Zusammenhang von KI-Suche, llms.txt und moderner Website-Optimierung ein, damit du ihn sicher einordnen und im Alltag richtig anwenden kannst.
Anders als die llms.txt reguliert die robots.txt den Zugriff. Wer KI-Crawler aussperren oder KI-Training verhindern will, tut das über die robots.txt, nicht über die llms.txt. Die beiden werden oft verwechselt, haben aber gegensätzliche Aufgaben.
Der Unterschied im Detail: llms.txt vs robots.txt.
Für die Praxis bedeutet das: Sobald du verstehst, welche Rolle robots.txt im größeren Zusammenspiel von Website, Suchmaschinen und KI-Systemen spielt, fällt es dir leichter, die richtigen Entscheidungen für deine eigenen Inhalte zu treffen. Die Begriffe in diesem Glossar hängen eng zusammen, und oft ergibt erst das Gesamtbild einen echten Vorteil. Wer die Grundlagen kennt, erstellt eine bessere llms.txt, bereitet Inhalte gezielter auf und erhöht so die Chance, in den Antworten moderner KI-Assistenten sichtbar zu werden. Es lohnt sich deshalb, die verwandten Einträge ebenfalls zu lesen und das Wissen nach und nach zu vertiefen.
Diese Erklärung zeigt, warum robots.txt für alle relevant ist, die ihre Inhalte für KI-Systeme wie ChatGPT, Claude oder Perplexity zugänglich machen wollen. Je besser du die Zusammenhänge zwischen den einzelnen Begriffen verstehst, desto gezielter kannst du deine Website darauf ausrichten, in KI-generierten Antworten aufzutauchen und als verlässliche Quelle genannt zu werden. Weitere verwandte Begriffe findest du im Glossar, und wie du das Wissen praktisch umsetzt, zeigt unser Ratgeber.