Robots.txt vs Noindex: Cuál Es la Diferencia (y Cuándo Usar Cada Uno)

Resuelven dos problemas distintos

robots.txt controla el rastreo: si el bot de un motor de búsqueda tiene permitido siquiera obtener una URL. Una etiqueta noindex controla la indexación: si una página que sí fue rastreada puede aparecer en los resultados de búsqueda. Confundir esto es una de las formas más comunes de que una página termine atascada en los resultados de búsqueda cuando querías que desapareciera, o invisible cuando en realidad querías que se encontrara.

Qué hace realmente robots.txt

Una regla Disallow en robots.txt les pide a los rastreadores bien portados que no obtengan una URL. No elimina una página que ya está indexada. Si Google indexó una URL antes de que fuera bloqueada —o la encontró enlazada desde otro lugar e indexó solo la URL y el texto de anclaje sin llegar a obtener la página— puede seguir mostrando esa URL en los resultados indefinidamente, generalmente sin título ni descripción, ya que Google respeta el bloqueo y nunca la vuelve a rastrear para verificar.

Qué hace realmente noindex

Una etiqueta <meta name="robots" content="noindex"> (o el encabezado HTTP equivalente X-Robots-Tag) le indica explícitamente a un rastreador que ya obtuvo la página: puedes leer esto, simplemente no lo pongas en tu índice. Esta es la forma confiable de eliminar una página de los resultados de búsqueda, pero solo si el rastreador realmente tiene permitido obtener la página y ver la etiqueta en primer lugar.

El error clásico: bloquear una página que también marcas como noindex

Si una URL está bloqueada en robots.txt y tiene una etiqueta noindex, la etiqueta noindex nunca se lee: al rastreador se le dijo que no obtuviera la página en absoluto, así que nunca ve la instrucción que vive en esa página. La página puede seguir indexada (si ya lo estaba, o si se enlaza desde otro lugar) sin ninguna forma de que Google se entere de lo contrario, ya que eliminarla requiere leer una etiqueta que tiene bloqueada. Esta es una forma genuinamente común en que los sitios dejan accidentalmente páginas de bajo valor atascadas en los resultados de búsqueda durante meses.

Cuándo usar robots.txt

• Gestionar el presupuesto de rastreo en sitios grandes: mantener a los rastreadores alejados de rutas de bajo valor y alto volumen (resultados de búsqueda interna, combinaciones de filtros por facetas) para que dediquen más tiempo a las páginas que importan.
• Bloquear directamente entornos de pruebas, rutas de administración y endpoints de API.
• Páginas que nunca quieres que se rastreen, ni siquiera para revisar su contenido, ya que el rastreo en sí consume recursos de ambos lados.

Cuándo usar noindex

• Páginas que quieres que existan y sean rastreables —para enlaces internos, para usuarios, para la estructura del sitio— pero que nunca aparezcan en los resultados de búsqueda: archivos de etiquetas/categorías, páginas paginadas más allá de la primera, páginas de agradecimiento.
• Contenido escaso o duplicado que no estás listo para eliminar por completo, donde aún quieres que sea accesible para los visitantes y las herramientas internas.
• Eliminar una página que ya está indexada: esto solo funciona si la página se mantiene rastreable para que Google pueda ver realmente la etiqueta.

Regla rápida de decisión

Pregúntate: ¿un rastreador necesita leer esta página para saber qué hacer con ella? Si la instrucción depende de que se vea el propio contenido de la página (como una etiqueta noindex), robots.txt debe permitir el rastreo. Si quieres impedir el rastreo en sí —sin importar qué haya en la página—, robots.txt es la herramienta correcta, y noindex es redundante porque nunca se llegará a leer de todas formas. Para contenido que es rastreable y duplicativo en lugar de simplemente no deseado, una etiqueta canónica suele ajustarse mejor que cualquiera de las dos opciones.