Qué es robots.txt

Sirve para evitar que Google pierda tiempo en carpetas internas (paneles, carritos, filtros infinitos) y para señalar dónde está el sitemap. No sirve para ocultar una página de los resultados: para eso se usa la etiqueta noindex.

El error clásico y grave: un Disallow: / heredado de un entorno de pruebas que bloquea todo el sitio. Conviene revisarlo tras cada cambio importante.

Cómo funciona. Es un archivo de texto que vive siempre en la raíz (tusitio.com/robots.txt). Contiene reglas por robot: «User-agent» dice a quién aplica y «Disallow» o «Allow» indican qué rutas puede o no visitar. Los buscadores serios lo consultan antes de rastrear, pero es una petición: no es una barrera de seguridad, y los robots malintencionados lo ignoran.

Bloquear no es desindexar. Si bloqueas una página en robots.txt, Google no puede leerla, y por tanto tampoco ve un noindex que tuviera. Si otros sitios la enlazan, la URL puede aparecer igual en los resultados, sin descripción. Para sacar algo de Google, deja que lo rastree y usa noindex, o elimina la página.

No bloquees los recursos. Evita bloquear las carpetas de CSS y JavaScript que usa tu página, porque Google necesita cargarlas para ver la página como la ve una persona, sobre todo en móvil.

Cómo revisarlo. Abre tu robots.txt en el navegador, comprueba que no haya un Disallow: / accidental y que declare el sitemap. Después de lanzar un sitio nuevo o cambiar de servidor, vuelve a verificarlo; es un error pequeño con consecuencias grandes.

Un archivo simple. Para la mayoría de sitios pequeños basta con pocas líneas: permitir todo lo público, excluir el panel y las rutas internas, y declarar el sitemap. Si dudas de una regla, es mejor no incluirla.