Qué es Meta Robots: definición y guía completa SEO
Meta Robots: Etiqueta HTML en el head de una página que controla cómo los motores de búsqueda rastrean e indexan esa URL específica. Permite combinar directivas como noindex, nofollow, nosnippet o noimageindex para un control granular de lo que Google hace con cada página.
Directivas meta robots disponibles y su función exacta
La directiva index/noindex controla si la página puede aparecer en los resultados de búsqueda. La directiva follow/nofollow indica si Google debe seguir los enlaces de la página para descubrir otras URLs (no afecta al PageRank de los enlaces). Nosnippet impide que Google muestre extractos de texto o vídeo de la página en los resultados. Noimageindex impide la indexación de las imágenes de la página en Google Imágenes. Max-snippet:[número] limita los caracteres del fragmento de texto. Max-image-preview:[off/standard/large] controla el tamaño de la imagen previa en los resultados. Todas estas directivas se pueden combinar en una sola etiqueta: <meta name=’robots’ content=’noindex, nofollow, nosnippet’>.
Meta robots vs robots.txt: cuándo usar cada uno
La diferencia fundamental es que el robots.txt bloquea el rastreo pero no garantiza que la URL no sea indexada (si tiene backlinks, Google puede indexarla sin ver el contenido), mientras que el meta robots noindex garantiza que la página no aparezca en los resultados, pero requiere que Googlebot pueda acceder a ella para leer la etiqueta. Una URL bloqueada en robots.txt con un noindex en el HTML: Google no puede leer el noindex porque el robots.txt le impide acceder. La combinación correcta para páginas que no deben indexarse: permitir el rastreo (no bloquear en robots.txt) y usar noindex en el HTML. El robots.txt solo debe bloquear páginas que no necesitan ni ser vistas ni indexadas.
Cabecera HTTP X-Robots-Tag: meta robots para recursos no-HTML
La etiqueta meta robots solo funciona en páginas HTML. Para PDFs, imágenes, vídeos y otros recursos no-HTML, el equivalente es la cabecera HTTP X-Robots-Tag, que se configura en el servidor. Por ejemplo, para evitar que Google indexe todos los PDFs del directorio /documentos/: en Apache, Location ~ /documentos/.*.pdf con Header set X-Robots-Tag ‘noindex’. Esta técnica es menos conocida pero esencial en sitios que generan documentos dinámicamente o tienen bibliotecas de recursos que no deben aparecer en los resultados de búsqueda.
Preguntas frecuentes
¿Nofollow en meta robots afecta al PageRank de los enlaces de la página?
Desde 2019, Google trata nofollow como una sugerencia, no como una directiva. En la práctica, nofollow en meta robots hace que Google no siga los enlaces de la página para el rastreo de nuevas URLs, pero el impacto en la transmisión de PageRank es incierto. Para controlar el flujo de PageRank de forma más precisa, es más efectivo el nofollow a nivel de enlace individual que a nivel de página completa.
¿Puedo usar meta robots para ocultar páginas de competidores que me han copiado?
No directamente. El meta robots solo aplica a tu propio sitio. Si un competidor copia tu contenido, la solución es asegurarte de que tu versión tiene señales más fuertes (publicación más antigua, más backlinks, canonical si es contenido sindicado con permiso). Para contenido copiado sin permiso, el proceso es presentar una solicitud DMCA ante Google.