Técnico
¿Qué es robots.txt?
Un archivo en la raíz del sitio que le dice a los buscadores qué zonas pueden o no rastrear.
Sirve para evitar que Google pierda tiempo en carpetas internas (paneles, carritos, filtros infinitos) y para señalar dónde está el sitemap. No sirve para ocultar una página de los resultados: para eso se usa la etiqueta noindex.
El error clásico y grave: un Disallow: / heredado de un entorno de pruebas que bloquea todo el sitio. Conviene revisarlo tras cada cambio importante.
En ClikRank
Términos relacionados