Qué es Rastreo: definición y guía completa SEO
Rastreo (Crawling): Proceso por el que los bots de los motores de búsqueda (principalmente Googlebot) descubren y visitan páginas web siguiendo los enlaces, descargando su contenido para analizarlo e indexarlo. Es el primer paso del proceso de indexación y posicionamiento: sin rastreo, no hay indexación ni ranking.
Cómo funciona el rastreo de Googlebot paso a paso
El ciclo de rastreo comienza con la cola de rastreo (crawl queue): un conjunto de URLs pendientes de visitar que Google actualiza continuamente. Googlebot selecciona URLs de esta cola según su prioridad (popularidad, frescura, profundidad en el sitio) y realiza peticiones HTTP para descargar el HTML. Tras descargar la página, extrae todos los enlaces (href en etiquetas ) y los añade a la cola si no han sido visitados recientemente o si han cambiado. Googlebot ejecuta JavaScript (con retraso) para descubrir enlaces y contenido generado por JS. La frecuencia de revisita de cada URL depende de la popularidad del dominio, la velocidad de respuesta del servidor y la frecuencia de cambios en el contenido.
Factores que condicionan la profundidad y frecuencia de rastreo
La autoridad del dominio es el factor principal: dominios con muchos backlinks de calidad reciben visitas de Googlebot más frecuentes. La velocidad de respuesta del servidor determina cuántas páginas puede rastrear Googlebot en el tiempo disponible: servidores rápidos permiten más rastreos. La arquitectura interna del sitio define la profundidad: páginas a 1-2 clics de la home son rastreadas más frecuentemente que páginas enterradas a 5-6 clics. La frecuencia de actualización del contenido incentiva el re-rastreo: sitios de noticias con publicación continua son rastreados cada pocos minutos, mientras que sitios estáticos pueden pasar semanas entre rastreos. El historial de errores (páginas que frecuentemente devuelven errores) hace que Googlebot reduzca la frecuencia de visita.
Cómo facilitar el rastreo con la arquitectura del sitio
Las páginas más importantes deben estar a pocas clics de la home: el estándar es que ninguna página valiosa esté a más de 3 clics de la página principal. El enlazado interno denso y bien organizado permite a Googlebot navegar eficientemente por el sitio. El sitemap XML actualizado es una señal directa a Google sobre qué páginas existen y cuándo se han actualizado por última vez. La optimización del tiempo de respuesta del servidor (caché de página, CDN) aumenta el número de páginas que Googlebot puede rastrear en cada visita. Eliminar o bloquear páginas de escaso valor (resultados de búsqueda interna, URLs con parámetros, páginas duplicadas) concentra el presupuesto de rastreo en el contenido que importa.
Preguntas frecuentes
¿Puedo ver cuándo rastreó Googlebot cada página de mi sitio?
Sí, de dos formas. En Google Search Console, la herramienta de Inspección de URL muestra la fecha y hora del último rastreo de cada URL. Para una visión global, el informe de ‘Estadísticas de rastreo’ en GSC (bajo Configuración) muestra el número de páginas rastreadas por día, el tiempo medio de descarga y los códigos de respuesta más frecuentes. Para datos más granulares, el análisis de logs del servidor es la fuente más completa.
¿Googlebot visita todas las páginas de mi sitio cada vez que rastrea?
No. Googlebot no rastrea todas las páginas de un sitio en cada visita. Prioriza las páginas más populares, las que han cambiado recientemente y las más cercanas a la home. En sitios grandes, algunas páginas poco populares pueden pasar semanas o meses sin ser rastreadas. El informe de estadísticas de rastreo en GSC muestra la distribución real de páginas rastreadas por día.