Ein Bericht, veröffentlicht von Vercel hebt den wachsenden Einfluss von Robotern mit künstlicher Intelligenz beim Crawlen von Webseiten hervor.
GPTBot von OpenAI und Claude von Anthropic erzeugen monatlich fast eine Milliarde Anfragen an das Vercel-Netzwerk.
Die Daten zeigen, dass GPTBot im letzten Monat 569 Millionen Anfragen gestellt hat, während Claude 370 Millionen Anfragen gestellt hat.
Darüber hinaus trug PerplexityBot zu 24,4 Millionen Suchanfragen und AppleBot zu 314 Millionen Suchanfragen bei.
Zusammen machen diese KI-Roboter etwa 28% des Gesamtvolumens von Googlebot, das sich auf 4,5 Milliarden Suchanfragen beläuft.
Hier erfahren Sie, was das für die Suchmaschinenoptimierung bedeuten könnte.
Wichtigste Erkenntnisse über KI-Roboter
Die Analyse umfasste die Verkehrsmuster im Vercel-Netzwerk und in verschiedenen Webarchitekturen. Sie zeigte einige wesentliche Merkmale von Crawlern auf :
- Die wichtigsten KI-Crawler rendern JavaScript nicht, obwohl sie JavaScript-Dateien extrahieren.
- KI-Crawler sind oft ineffektiv, ChatGPT und Claude geben mehr als 34% ihrer Anträge auf 404-Seiten.
- Die Art der Inhalte, auf die sich diese Bots konzentrieren, variiert. ChatGPT priorisiert HTML (57.7%), während Claude sich mehr auf Bilder konzentriert (35.17%).
Geografische Verteilung
Im Gegensatz zu traditionellen Suchmaschinen, die von mehreren Regionen aus operieren, halten KI-Crawler derzeit eine konzentrierte Präsenz in den USA aufrecht:
- ChatGPT operiert von Des Moines (Iowa) und Phoenix (Arizona) aus.
- Claude operiert von Columbus (Ohio) aus.
Korrelation mit dem Web-Almanach
Diese Ergebnisse stimmen mit den Daten überein, die im SEO-Bericht des Webalmanachs geteilt wurden. Kapitelin der auch über die zunehmende Präsenz von Crawlern berichtet wird.
Dem Bericht zufolge verwenden Websites nun robots.txt-Dateien, um Regeln für KI-Roboter festzulegen, die ihnen mitteilen, was sie crawlen dürfen und was nicht.
GPTBot ist der am häufigsten erwähnte Roboter, der auf 2.7% der untersuchten mobilen Websites. Auch der Common Crawl Bot, der häufig verwendet wird, um Trainingsdaten für linguistische Modelle zu sammeln, wird häufig beobachtet.
Beide Berichte betonen, dass sich die Besitzer von Webseiten an das Verhalten der Crawler anpassen müssen.
3 Wege zur Optimierung von KI-Indexierungsrobotern
Basierend auf aktuellen Daten von Vercel und dem Web Almanac finden Sie hier drei Möglichkeiten, die Navigation für Crawler zu optimieren.
1. Serverseitiges Rendering
KI-Roboter führen kein JavaScript aus. Das bedeutet, dass Inhalte, die auf einer clientseitigen Darstellung beruhen, möglicherweise unsichtbar sind.
Empfohlene Maßnahmen :
- Serverseitiges Rendering für kritische Inhalte implementieren
- Stellen Sie sicher, dass der Hauptinhalt, die Metainformationen und die Navigationsstrukturen im ursprünglichen HTML-Code vorhanden sind.
- Verwenden Sie nach Möglichkeit die statische Standortgenerierung oder die inkrementelle statische Regeneration.
2. Inhaltsstruktur und Verbreitung
Vercel-Daten zeigen deutliche Präferenzen für die Art der Inhalte unter KI-Indexierungsrobotern :
ChatGPT :
- Vorrang für HTML-Inhalte (57.70%)
- widmet 11,50 % von ihrer Suche bis zu JavaScript-Dateien
Claude :
- Konzentriert sich stark auf Bilder (35.17%)
- Verbringt 23,84 % seiner Suchanfragen mit JavaScript-Dateien
Optimierungsempfehlungen :
- HTML-Inhalte klar und semantisch strukturieren
- Optimieren Sie die Verbreitung von Bildern und Metadaten
- Beschreibenden Alt-Text für Bilder einbinden
- Eine geeignete Header-Hierarchie einrichten
3. Technische Erwägungen
Die hohen 404-Raten der KI-Indexierungsroboter bedeuten, dass Sie diese technischen Überlegungen im Hinterkopf behalten müssen:
- Sitemaps auf dem neuesten Stand halten
- Einrichten geeigneter Umleitungsketten
- Einheitliche URL-Vorlagen verwenden
- Regelmäßige Prüfung auf 404-Fehler
Ausblick auf die Zukunft
Für Suchmaschinenvermarkter ist die Botschaft klar: KI-Chatbots sind eine neue Kraft beim Crawlen des Internets, und Websites müssen ihre Suchmaschinenoptimierung entsprechend anpassen.
Obwohl sich KI-Roboter derzeit auf zwischengespeicherte oder datierte Informationen verlassen können, wird ihre Fähigkeit, frische Inhalte aus dem gesamten Web zu analysieren, zunehmen.
Mit serverseitigem Rendering, sauberen URL-Strukturen und aktuellen Sitemaps können Sie dafür sorgen, dass Ihre Inhalte gecrawlt und indexiert werden.
Vorgehobenes Bild : tete_escape/Shutterstock