Cómo crear un archivo robots.txt correcto paso a paso
El archivo robots.txt es la primera puerta que los rastreadores de los buscadores tocan al llegar a tu web: les dice qué zonas pueden visitar y cuáles no. Bien configurado, ayuda a que Google gaste su presupuesto de rastreo en tus páginas importantes; mal configurado, puede dejar fuera de Google tu web entera.
Crear un robots.txt correcto lleva 10 minutos si conoces la sintaxis, pero los errores son caros: un «Disallow: /» mal colocado desindexa todo el sitio. En esta guía aprenderás la sintaxis regla por regla con ejemplos listos para copiar. Y para generarlo sin escribir código, la herramienta gratuita de Tótem (usatotem.com/herramientas-seo/generar-robots/) crea tu robots.txt con las reglas que elijas.
Qué es robots.txt y qué puede (y no puede) hacer
El robots.txt es un archivo de texto plano alojado en la raíz de tu dominio (tudominio.com/robots.txt) que da instrucciones a los rastreadores (Googlebot, Bingbot, etc.) sobre qué URLs pueden rastrear.
Su uso principal es gestionar el presupuesto de rastreo: impedir que los bots pierdan tiempo en páginas sin valor SEO como resultados de búsqueda interna, filtros con parámetros, áreas de administración o versiones de impresión. Así concentran sus visitas en tu contenido importante.
Lo que NO hace: no es un mecanismo de seguridad ni garantiza la no indexación. Es una instrucción voluntaria que los buscadores serios respetan, pero no bloquea a bots maliciosos ni impide que una URL se indexe si otros sitios la enlazan. Para impedir la indexación real, usa la metaetiqueta noindex.
Tampoco oculta contenido a usuarios: cualquiera puede leer tu robots.txt escribiendo la URL. Nunca pongas en él rutas que quieras mantener secretas (como /admin-panel-oculto): es un mapa público de tu sitio.
Paso 1: Sintaxis básica regla por regla
El archivo se compone de bloques con dos directivas principales. User-agent indica a qué rastreador se aplica el bloque; Disallow indica qué rutas no debe rastrear.
Ejemplo básico que lo permite todo:
User-agent: *
Disallow:
El asterisco significa «todos los rastreadores» y un Disallow vacío significa «no bloquear nada». Es el robots.txt más común y el correcto para la mayoría de webs.
Para bloquear una sección:
User-agent: *
Disallow: /admin/
Disallow: /buscar?
Cada Disallow es un prefijo: /admin/ bloquea /admin/, /admin/usuarios y todo lo que empiece así. La comparación distingue mayúsculas de minúsculas: /Admin/ no bloquea /admin/.
La directiva Allow crea excepciones dentro de un bloqueo:
User-agent: *
Disallow: /descargas/
Allow: /descargas/manual.pdf
Y Sitemap indica dónde está tu sitemap (puede ir una o varias líneas, para cualquier rastreador):
Sitemap: https://tudominio.com/sitemap.xml
Paso 2: Tres configuraciones listas para usar
Configuración 1: web estándar (blog, corporativa, tienda pequeña). Permite todo y declara el sitemap:
User-agent: *
Disallow:
Sitemap: https://tudominio.com/sitemap.xml
Configuración 2: tienda online con filtros. Bloquea los parámetros que generan URLs duplicadas infinitas pero permite el catálogo:
User-agent: *
Disallow: /*?orden=
Disallow: /*?filtro=
Disallow: /carrito/
Disallow: /mi-cuenta/
Allow: /
Sitemap: https://tudominio.com/sitemap.xml
Configuración 3: web en desarrollo (temporal). Bloquea todo mientras construyes, y ELIMÍNALO al lanzar:
User-agent: *
Disallow: /
El error clásico es olvidar quitar la configuración 3 al publicar: webs enteras han pasado meses invisibles en Google por un Disallow: / heredado del desarrollo. Si tu web no aparece en Google, lo primero que debes mirar es tu robots.txt.
Puedes generar cualquiera de estas configuraciones sin escribir sintaxis usando el generador gratuito de robots.txt de Tótem: eliges qué bloquear y obtienes el archivo listo.
Paso 3: Sube y verifica el archivo
Paso 1: crea el archivo como texto plano llamado exactamente robots.txt (minúsculas, sin BOM ni formato Word). Un error de nombre o de codificación hace que los rastreadores lo ignoren.
Paso 2: súelo a la raíz del dominio: debe responder en https://tudominio.com/robots.txt. No sirve en un subdirectorio (/blog/robots.txt no tiene efecto sobre el dominio).
Paso 3: comprueba que devuelve código HTTP 200 y tipo text/plain. Si devuelve 404, los rastreadores asumen que todo está permitido (no es un desastre, pero pierdes el control y la declaración del sitemap).
Paso 4: valídalo en Google Search Console (Ajustes > robots.txt): Google te muestra el archivo que ve y te avisa de errores de sintaxis.
Paso 5: prueba reglas concretas con el probador de robots.txt de Search Console: introduce una URL y comprueba si queda bloqueada o permitida según tus reglas. Es la forma más segura de verificar antes de que Googlebot lo descubra por ti.
Errores que debes evitar
Error 1: bloquear CSS, JS o imágenes. Google necesita esos recursos para renderizar la página como un usuario; bloquear /wp-content/ o /assets/ degrada cómo Google ve tu web. Solo bloquea lo que de verdad no aporta al rastreo.
Error 2: usar robots.txt para «desindexar» páginas. Si bloqueas una URL en robots.txt pero está enlazada desde fuera, Google puede indexarla sin haberla rastreado (aparece sin descripción). Para no indexar, usa noindex y PERMITE el rastreo.
Error 3: reglas contradictorias entre bloques. Las reglas se agrupan por User-agent; un bloque específico (Googlebot) prevalece sobre el genérico (*). Revisa que no tengas un bloque antiguo contradiciendo al nuevo.
Error 4: comentar con el carácter equivocado. Los comentarios usan # al inicio de la línea. Un comentario mal colocado puede romper la línea siguiente si editas sin cuidado.
Error 5: no declarar el sitemap. La línea Sitemap: en robots.txt es la forma más simple de asegurar que todos los rastreadores (no solo Google) encuentren tu sitemap sin tener que enviarlo uno por uno.
Herramientas gratuitas mencionadas
Preguntas frecuentes
¿Dónde debe estar el archivo robots.txt?
En la raíz del dominio (tudominio.com/robots.txt), como archivo de texto plano con ese nombre exacto en minúsculas. Debe devolver HTTP 200. Un robots.txt en un subdirectorio no tiene ningún efecto.
¿El robots.txt impide que Google indexe una página?
No de forma fiable. El robots.txt controla el rastreo, no la indexación: una URL bloqueada pero enlazada desde otros sitios puede aparecer indexada sin descripción. Para impedir la indexación usa la metaetiqueta noindex y permite el rastreo de esa URL.
¿Qué significa Disallow: / en robots.txt?
Bloquea el rastreo de todo el sitio para el User-agent indicado. Es útil en webs en desarrollo, pero si se olvida al lanzar, la web desaparece de los buscadores. Si tu sitio no aparece en Google, revisa que no tengas esta regla activa.
¿Necesito un robots.txt si quiero que se rastree todo?
No es obligatorio (sin archivo, todo se permite), pero es recomendable: te permite declarar la ubicación del sitemap para todos los rastreadores y te da el control para bloquear secciones inútiles (búsqueda interna, admin) cuando lo necesites.
En resumen
El robots.txt es un archivo pequeño con consecuencias grandes: 10 minutos bien invertidos protegen tu presupuesto de rastreo y evitan el desastre de un bloqueo accidental. Memoriza las tres ideas clave: sintaxis de prefijos, no usarlo como método de desindexación y verificar en Search Console.
Revisa hoy mismo tu robots.txt actual (tudominio.com/robots.txt): si no existe, créalo con el generador gratuito de Tótem; si existe, comprueba que no tenga un Disallow heredado del desarrollo. Es la auditoría SEO más rápida que existe.