Un informe publicado por Vercel destaca el creciente impacto de los robots de inteligencia artificial en la exploración de sitios web.
GPTBot de OpenAI y Claude de Anthropic generan casi mil millones de peticiones al mes en la red Vercel.
Los datos muestran que GPTBot realizó 569 millones de consultas el mes pasado, mientras que Claude realizó 370 millones.
Además, PerplexityBot contribuyó a 24,4 millones de búsquedas y AppleBot a 314 millones de consultas.
En conjunto, estos robots de IA representan alrededor de 28% del volumen total de 4.500 millones de búsquedas de Googlebot.
He aquí lo que esto podría significar para la SEO.
Principales conclusiones sobre los robots de IA
El análisis se centró en los patrones de tráfico en la red Vercel y en diversas arquitecturas web. Puso de relieve ciertas características clave de los robots de indexación:
- Los principales rastreadores de AI no procesan JavaScript, aunque sí extraen archivos JavaScript.
- Los rastreadores de inteligencia artificial suelen ser ineficaces, y ChatGPT y Claude gastan más que 34% sus peticiones en las páginas 404.
- El tipo de contenido en el que se centran estos robots varía. ChatGPT da prioridad al HTML (57.7%), mientras que Claude se centra más en las imágenes (35.17%).
Desglose geográfico
A diferencia de los motores de búsqueda tradicionales, que operan desde varias regiones, los rastreadores de IA mantienen actualmente una presencia concentrada en Estados Unidos:
- ChatGPT opera desde Des Moines (Iowa) y Phoenix (Arizona).
- Claude opera desde Columbus (Ohio)
Correlación con el Almanaque Web
Estos resultados concuerdan con los datos compartidos en el informe Almanach du Web SEO. capítuloque también informa de la creciente presencia de rastreadores.
Según el informe, los sitios web utilizan ahora archivos robots.txt para definir reglas para los robots de inteligencia artificial, indicándoles lo que pueden y no pueden explorar.
GPTBot es el robot más mencionado, apareciendo en 2.7% de los sitios móviles estudiados. También se observa con frecuencia el bot Common Crawl, utilizado a menudo para recopilar datos de entrenamiento para modelos lingüísticos.
Ambos informes subrayan la necesidad de que los propietarios de sitios web se adapten al comportamiento de los robots de indexación.
3 formas de optimizar los robots de indexación de IA
Según datos recientes de Vercel y Web Almanac, he aquí tres maneras de optimizar la navegación para los robots de indexación.
1. Representación en el servidor
Los robots de IA no ejecutan JavaScript. Esto significa que cualquier contenido basado en la renderización del lado del cliente es probable que sea invisible.
Acciones recomendadas:
- Renderización de contenidos críticos en el servidor
- Asegúrese de que el contenido principal, la metainformación y las estructuras de navegación están presentes en el código HTML inicial.
- Utilice la generación de sitios estáticos o la regeneración estática incremental siempre que sea posible.
2. Estructura y distribución de los contenidos
Los datos de Vercel revelan distintas preferencias de tipo de contenido entre los rastreadores de IA:
ChatGPT :
- Prioridad del contenido HTML (57.70%)
- 11,50 % de sus búsquedas a archivos JavaScript
Claude :
- Gran atención a las imágenes (35.17%)
- Dedica el 23,84 % de sus búsquedas a archivos JavaScript
Recomendaciones de optimización :
- Estructurar el contenido HTML de forma clara y semántica
- Optimizar la distribución de imágenes y metadatos
- Incluya un texto alternativo descriptivo para las imágenes
- Establecer una jerarquía de cabecera adecuada
3. 3. Consideraciones técnicas
Las elevadas tasas de 404 de los rastreadores de IA implican que debe tener en cuenta estas consideraciones técnicas:
- Mantener actualizados los sitemaps
- Establecer cadenas de redireccionamiento adecuadas
- Utilizar modelos de URL coherentes
- Auditoría periódica de errores 404
Perspectivas de futuro
Para los profesionales del marketing de búsqueda, el mensaje es claro: los chatbots de IA son una nueva fuerza en la exploración web, y los sitios necesitan adaptar su SEO en consecuencia.
Aunque en la actualidad los robots de IA pueden basarse en información almacenada en caché o fechada, su capacidad para analizar contenidos frescos de toda la web irá en aumento.
Puede asegurarse de que su contenido se rastrea e indexa gracias a la renderización del lado del servidor, las estructuras de URL limpias y los sitemaps actualizados.
Imagen destacada : tete_escape/Shutterstock