Archivo robots.txt: qué es y qué revisar en tu web

Un archivo robots.txt indica a los rastreadores qué partes de una web pueden recorrer. Para un negocio, revisarlo sirve para detectar restricciones que podrían impedir a Google leer páginas de servicios, productos o artículos. Puedes empezar localizando el archivo y pidiendo una explicación de sus reglas antes de cambiarlo.

Para qué sirve el archivo robots.txt

Su función es gestionar el rastreo: la visita que hace un buscador para consultar contenido. No equivale a controlar qué páginas aparecen en los resultados ni a proteger documentos privados.

La introducción de Google a robots.txt aclara que una dirección bloqueada puede aparecer en búsquedas si otros sitios enlazan hacia ella, aunque Google no haya leído su contenido.

Piensa en tres necesidades distintas: permitir que Google lea tu catálogo, decidir qué páginas quieres mostrar en búsquedas y restringir el acceso a información interna. Cada una requiere su propia solución.

Dónde encontrarlo y cómo leer sus reglas

Abre el dominio de tu negocio y añade /robots.txt después del nombre. El archivo corresponde a la raíz del sitio, no a una carpeta de artículos.

Google explica en su guía para crear robots.txt que sus reglas se aplican al protocolo, dominio o subdominio y puerto donde está publicado. Si tienes una tienda en otro subdominio, compruébala por separado.

Estas son las indicaciones principales:

• User-agent: identifica el rastreador al que corresponde un grupo de reglas.
• Disallow: señala rutas que ese rastreador no debe recorrer.
• Allow: permite rastrear una ruta; puede establecer excepciones.
• Sitemap: indica la ubicación completa de un mapa del sitio.

Por ejemplo, Disallow: /servicios/ restringe las rutas que comienzan por esa carpeta para el rastreador correspondiente. Si allí presentas tu oferta, pregunta por qué existe esa restricción.

No interpretes una línea aislada: pueden existir grupos específicos y excepciones. Solicita al responsable técnico que compruebe la regla efectiva para cada dirección importante.

Qué revisar con quien administra tu web

Prepara una lista breve: portada, servicio principal, catálogo y un artículo reciente. Así puedes comprobar páginas concretas, sin quedarte en una revisión general.

1. Guarda una copia del archivo actual y la fecha de revisión.
2. Identifica quién lo mantiene: proveedor, plataforma o complemento.
3. Pregunta qué objetivo cumple cada restricción.
4. Comprueba si afecta páginas comerciales o recursos necesarios para mostrarlas.
5. Acuerda el cambio y verifica el resultado después de publicarlo.

Imagina una imprenta que preparó sus servicios en una carpeta temporal y luego la convirtió en su catálogo público. Conviene revisar si quedaron restricciones de la etapa de preparación antes de asumir que el problema está en los textos.

El informe de robots.txt de Search Console muestra archivos detectados, fechas de consulta y problemas de procesamiento. Úsalo para contrastar lo publicado con lo que Google obtuvo.

No confundas robots.txt con noindex

Si quieres excluir una página de los resultados, consulta la documentación de Google sobre noindex. Esa indicación se configura en la página o en su respuesta HTTP, no dentro de robots.txt.

Google necesita acceder al contenido para leerla. Bloquear simultáneamente el rastreo puede impedir que detecte esa instrucción.

Para documentos internos, utiliza controles de acceso. Si tu duda es comprobar la visibilidad de páginas públicas, continúa con la guía de Nexlab sobre cómo saber si tu página aparece en Google.

Preguntas frecuentes

¿Necesito robots.txt si mi web es pequeña?

No necesariamente. Su utilidad depende de si necesitas gestionar restricciones de rastreo. Consulta qué genera tu plataforma antes de añadir otro archivo.

¿Disallow elimina una página de Google?

No. Restringe su rastreo; la dirección todavía podría aparecer en búsquedas. Revisa el método adecuado según tu objetivo.

¿Poner una página en el sitemap elimina un bloqueo?

No. El sitemap comunica direcciones, pero no anula las restricciones de robots.txt.

¿Puedo editar el archivo desde mi plataforma?

Depende del servicio. Algunos permiten modificarlo y otros ofrecen ajustes de visibilidad. Confirma el procedimiento con tu proveedor.

Mantén accesibles las páginas que presentan tu negocio

Revisar el archivo robots.txt ayuda a detectar restricciones que no corresponden al propósito actual de tu web. Documenta qué debe poder rastrearse y quién comprueba los cambios. Si estás preparando o renovando tu sitio, explora las opciones de páginas web de Nexlab y lleva esa lista a la conversación sobre tu proyecto.