Sitemap XML vs robots.txt: ¿qué hace cada uno?
Sitemap XML y robots.txt son los dos archivos más citados del SEO técnico… y los dos más confundidos. Ambos viven en la raíz de tu web, ambos hablan con los rastreadores de Google y ambos tienen que ver con qué páginas se descubren. Pero hacen exactamente lo contrario el uno del otro.
El sitemap.xml es una lista de tus páginas importantes: le dice a Google «aquí está mi contenido, ven a verlo». El robots.txt es un archivo de instrucciones: le dice a los rastreadores qué zonas no deben visitar.
Confundirlos tiene consecuencias: hay quien intenta «posicionar» páginas bloqueándolas en robots.txt, o quien cree que el sitemap impide el rastreo. Vamos a dejar cada uno en su sitio.
Sitemap XML: el mapa de tu contenido
Un sitemap XML es un archivo con la lista de URLs importantes de tu web, opcionalmente con su fecha de última modificación, frecuencia de cambio y prioridad. Su misión es ayudar a Google a descubrir páginas, sobre todo las nuevas, las profundas (a muchos clics de la home) o las de webs grandes.
No es obligatorio —Google descubre páginas siguiendo enlaces—, pero acelera y asegura el descubrimiento. Para webs nuevas sin enlaces entrantes o con miles de URLs, es casi imprescindible. Se declara en Google Search Console y, por buena práctica, también dentro del robots.txt.
Un matiz importante: el sitemap propone, no impone. Incluir una URL no garantiza su indexación; si la página es de baja calidad o está bloqueada por otro medio, Google la ignorará. Y debe estar actualizado: un sitemap con URLs rotas o desactualizadas pierde credibilidad.
Robots.txt: las normas de la casa
El robots.txt es un archivo de texto con instrucciones para los rastreadores: qué agentes pueden entrar y qué rutas no deben rastrear. Su sintaxis básica es User-agent (a quién se aplica) y Disallow (qué se prohíbe). Ejemplo: bloquear /admin/ o los parámetros de filtrado que generan URLs duplicadas infinitas.
Su misión es gestionar el presupuesto de rastreo: evitar que Google pierda tiempo en páginas inútiles (búsquedas internas, carritos, versiones de impresión) y proteger zonas privadas del rastreo indiscriminado. No es un mecanismo de seguridad —cualquiera puede leerlo— ni de desindexación.
El error conceptual grave: creer que Disallow elimina una página de Google. Si la URL está bloqueada pero enlazada desde fuera, Google puede indexarla sin haberla rastreado (aparece sin descripción). Para desindexar de verdad se usa la meta etiqueta noindex, no el robots.txt.
Comparativa: funciones opuestas, uso conjunto
El sitemap dice «rastrea esto»; el robots.txt dice «no rastrees aquello». Uno acelera el descubrimiento del contenido valioso; el otro frena el desperdicio en contenido inútil. Son complementarios, no alternativos.
El sitemap se dirige a buscadores que lo consumen voluntariamente; el robots.txt lo respetan los rastreadores bien educados (Google, Bing), pero no es una barrera para bots maliciosos. Ninguno de los dos controla lo que el usuario ve: son archivos para máquinas.
La configuración sana de una web: robots.txt bloqueando solo lo necesario (admin, parámetros basura, staging), sitemap.xml listando todo el contenido indexable y actualizado, y la URL del sitemap declarada dentro del robots.txt para que cualquier rastreador la encuentre. Esa es la arquitectura básica del SEO técnico.
Cómo configurarlos bien (guía práctica)
Para el robots.txt, empieza permitiendo todo y bloquea con criterio: paneles de administración, URLs con parámetros de sesión o filtros, y entornos de pruebas. Cada línea Disallow debe tener un motivo; bloquear por si acaso es como cerrar habitaciones de tu casa porque sí.
Para el sitemap, incluye solo URLs indexables con contenido real: nada de páginas 404, redirecciones ni URLs bloqueadas en robots.txt (contradicción que confunde a Google). Si tu web supera las 50.000 URLs o los 50 MB, divídelo en varios sitemaps con un índice.
Las herramientas gratuitas te ahorran el trabajo manual: el generador de robots.txt (/herramientas-seo/generar-robots/) crea un archivo válido en segundos, y el analizador de meta tags (/herramientas-seo/analizar-meta-tags/) te ayuda a revisar que tus páginas llevan las etiquetas correctas (index, follow) en coherencia con lo que declares en ambos archivos.
Errores que rompen el rastreo
Bloquear CSS y JS en robots.txt: Google necesita esos recursos para renderizar la página como un usuario; bloquearlos degrada cómo evalúa tu web. Solo bloquea HTML que no aporte.
Dejar el Disallow: / del entorno de pruebas al pasar a producción: la web entera desaparece de Google de la noche a la mañana. Es uno de los desastres SEO más comunes y más fáciles de evitar con una revisión.
Y el sitemap abandonado: generarlo una vez y olvidarlo. Si publicas contenido nuevo cada semana, el sitemap debe regenerarse solo o lo estarás alimentando con un mapa desactualizado. Automatízalo o calendariza su revisión.
Herramientas gratuitas mencionadas
Preguntas frecuentes
¿El robots.txt sirve para ocultar páginas de Google?
No de forma fiable. Disallow impide el rastreo, pero Google puede indexar la URL si la encuentra enlazada en otros sitios (la mostrará sin título ni descripción). Para que una página no aparezca en resultados usa la meta etiqueta noindex o protégela con contraseña.
¿Toda web necesita un sitemap.xml?
No es obligatorio, pero es muy recomendable para webs nuevas, grandes (miles de páginas) o con contenido profundo y pocos enlaces internos. Para un blog pequeño bien enlazado internamente, Google lo descubrirá igual; el sitemap simplemente acelera el proceso.
¿Dónde se coloca la URL del sitemap?
En Google Search Console (para informar directamente a Google) y como línea «Sitemap: https://tudominio.com/sitemap.xml» dentro del robots.txt, para que cualquier rastreador la descubra. Ambas prácticas son complementarias.
En resumen
Sitemap y robots.txt son las dos caras del control de rastreo: uno invita a Google a tu mejor contenido, el otro le ahorra perder el tiempo en el resto. Configúralos con criterio —bloquea poco, lista solo lo indexable, mantén todo actualizado— y tendrás la base del SEO técnico cubierta. Son archivos pequeños con un impacto desproporcionado cuando están mal: revísalos hoy mismo.