Crawler

Un crawler (del inglés to crawl, arrastrarse) es un bot o programa automatizado que navega por Internet siguiendo enlaces entre páginas web. Su función principal es descubrir contenido nuevo, analizarlo y enviarlo a un índice para que luego pueda mostrarse en los resultados de búsqueda.

En el contexto de motores como Google, los crawlers son conocidos como Googlebot (para escritorio) y Googlebot Smartphone (para móviles). También existen crawlers especializados en imágenes, noticias, anuncios, etc.

Los crawlers funcionan a partir de una lista inicial de URLs (conjunto de semillas) y van siguiendo enlaces de unas páginas a otras. Durante el proceso, leen el contenido, evalúan palabras clave, comprueban enlaces rotos y códigos HTML, y actualizan el índice del motor de búsqueda.

Además de los motores de búsqueda, muchas herramientas SEO (como Screaming Frog, Ahrefs o Semrush) usan sus propios crawlers para analizar sitios web desde el punto de vista técnico y de contenido.