John Mueller von Google beantwortete eine Frage zu LLMs.txt, einem vorgeschlagenen Standard, um Agenten für künstliche Intelligenz und Indexrobotern den Inhalt einer Website zu zeigen, indem er seinen Nutzen herunterspielte, ihn mit dem nutzlosen Meta-Tag keywords verglich und damit die Erfahrungen anderer bestätigte, die ihn verwendet hatten.
LLMS.txt
Die Datei LLMS.txt wurde wegen der großen Sprachmuster mit einer Robots.txt-Datei verglichen, aber das ist völlig falsch. Der Hauptzweck einer robots.txt-Datei besteht darin, zu kontrollieren, wie Roboter eine Website durchsuchen. Der Vorschlag für LLMs.txt zielt nicht auf die Kontrolle von Robotern ab. Das wäre auch überflüssig, da es mit robots.txt bereits einen Standard dafür gibt.
Der Vorschlag für LLMs.txt zielt generell darauf ab, LLMs Inhalte mit einer Textdatei zu zeigen, die das Markdown-Format verwendet, damit sie nur den Hauptinhalt einer Webseite konsumieren können, völlig frei von Werbung und Navigation auf der Seite. Markdown ist ein von Menschen und Maschinen lesbares Format, das Überschriften mit dem Rautezeichen (#) und Listen mit dem Minuszeichen (-) kennzeichnet. LLMs.txt macht noch ein paar andere Dinge, die dieser Funktionalität ähnlich sind, und das ist alles, worum es hier geht.
Was LLMs ist.txt :
- LLMs.txt ist kein Mittel zur Kontrolle von Robotern mit künstlicher Intelligenz.
- LLMs.txt ist eine Möglichkeit, Robotern mit künstlicher Intelligenz den Hauptinhalt zu zeigen.
- LLMs.txt ist nur ein Vorschlag und kein weit verbreiteter und akzeptierter Standard.
Dieser letzte Teil ist wichtig, weil er mit dem zusammenhängt, was John Mueller von Google gesagt hat:
LLMs.txt ist vergleichbar mit dem Metatag Keywords
Jemand hat auf Reddit eine Diskussion über LLMs.txt gestartet und gefragt, ob jemand anderes seine Erfahrung teilt, dass Roboter für künstliche Intelligenz ihre LLMs.txt-Dateien nicht überprüfen.
Sie schrieben:
"Ich habe Anfang des Monats eine LLM.txt-Datei im Stammverzeichnis meines Blogs eingereicht, aber ich kann noch keine Auswirkungen auf meine Crawling-Protokolle feststellen. Ich bin neugierig, ob jemand ein Tracking-System eingerichtet hat oder ob Ihnen nach der Implementierung etwas aufgefallen ist.
Wenn Sie es noch nicht umgesetzt haben, bin ich neugierig, Ihre Meinung dazu zu hören".
Eine Person, die an dieser Diskussion teilnahm, berichtete, dass sie über 20.000 Domains hoste und dass kein Agent für künstliche Intelligenz oder Roboter die LLMs.txt-Dateien herunterlädt, sondern nur Nischenroboter wie der von BuiltWith diese Dateien abgreifen.
Der Kommentator schrieb:
"Ich hoste derzeit etwa 20.000 Domains. Ich kann bestätigen, dass kein Roboter sie wirklich übernimmt, mit Ausnahme einiger Nischennutzeragenten ...".
John Mueller antwortet:
"AFAIK hat keiner der KI-Dienste gesagt, dass er LLMs.TXT verwendet (und Sie können sehen, wenn Sie sich die Protokolle Ihres Servers ansehen, dass sie es nicht einmal überprüfen). Für mich ist es vergleichbar mit dem Meta-Tag keywords - es ist das, was der Besitzer einer Website behauptet, das Thema seiner Website zu sein ... (ist die Website wirklich so? nun, Sie können es überprüfen. In diesem Moment, warum überprüfen Sie die Seite nicht direkt)".
Er hat Recht, keiner der großen KI-Dienste Anthropic, OpenAI und Google hat angekündigt, dass er den vorgeschlagenen LLMs.txt-Standard unterstützt. Wenn keiner von ihnen ihn tatsächlich nutzt, wozu dann?
Mueller spricht auch die Tatsache an, dass eine LLMs.txt-Datei überflüssig ist, denn warum sollte man diese Markdown-Datei verwenden, wenn der ursprüngliche Inhalt (und die strukturierten Daten) bereits heruntergeladen wurden? Ein Roboter, der die LLMs.txt-Datei verwendet, muss den anderen Inhalt überprüfen, um sicherzustellen, dass es sich nicht um Spam handelt, warum sollte er sich also damit beschäftigen?
Und schließlich: Was hindert einen Herausgeber oder SEO daran, einen Satz von Inhalten in LLMs.txt den Spam-KI-Agenten und einen anderen Satz von Inhalten den Nutzern und Suchmaschinen zu zeigen? Es ist zu einfach, auf diese Weise Spam zu erzeugen, hauptsächlich durch Cloaking für LLMs.
In dieser Hinsicht ist dieses Tag dem Meta-Tag keywords sehr ähnlich, das keine Suchmaschine verwendet, weil es zu zweifelhaft wäre, zu glauben, dass sich eine Website tatsächlich um diese Schlüsselwörter dreht, und weil Suchmaschinen heute besser und ausgefeilter in der Inhaltsanalyse sind, um zu verstehen, worum es geht.
Lesen Sie hier die Diskussion auf LinkedIn :
Dieses Bild wurde präsentiert von Shutterstock/Jemastock