Guía para decidir mejor
Qué revisar en robots.txt al cambiar de servidor
Robots controla rastreo; no protege una copia privada.
El robots.txt puede cambiar al migrar de servidor porque se copió un archivo de staging, se activó otra regla en el CMS o la CDN sirve una versión antigua. Compruébalo antes de atribuir la pérdida de rastreo al hosting. Un robots con 200 y contenido aparentemente correcto puede no ser el que ve Google si existen varias versiones del host o reglas por agente.
Encuentra la versión efectiva
Abre https://tu-dominio/robots.txt en el dominio canónico y en sus variantes www/sin www si responden. Anota código, redirección, fecha y contenido. Verifica en qué servidor se genera: archivo físico, aplicación, plugin SEO o proxy/CDN. Compara respuesta desde dos redes y purga solo la capa que entregue contenido obsoleto. Si el archivo no existe, el comportamiento dependerá de la respuesta HTTP; no crees reglas a ciegas.
Lee las reglas con la intención correcta
Busca User-agent: * y Disallow: /, que bloquearía el rastreo general. Revisa reglas por rutas, parámetros y agentes. Comprueba que CSS, JS e imágenes necesarios para entender la página no estén bloqueados. La documentación oficial de Google recuerda que robots controla acceso de rastreadores, no garantiza que una URL desaparezca del índice. Para staging o datos privados usa autenticación; no dependas de una línea Disallow como protección.
Verifica sitemap y páginas afectadas
Si el archivo declara Sitemap:, abre esa URL y comprueba que pertenece al dominio correcto y contiene solo URLs finales. Inspecciona una página representativa en Search Console y compara el acceso en vivo con el HTML: una meta noindex, un canonical incorrecto o un 5xx también pueden impedir el resultado deseado aunque robots esté abierto. La revisión general tras migración ordena estas pruebas.
Corrige con alcance mínimo
Antes de editar, guarda la versión anterior y anota qué herramienta la genera. Corrige una regla o prioridad concreta, publica y vuelve a solicitar robots desde la URL pública. No reemplaces todo el archivo si contiene exclusiones válidas de panel, búsqueda interna o recursos sin valor. Comprueba que la página comercial pasa una inspección en vivo; la actualización del informe de Search Console puede demorar. Si sospechas que la CDN o el WAF muestran otra versión a Google, relaciona la hora de rastreo con logs y cabeceras.
Un robots sano es solo una pieza. Para redirecciones usa la auditoría de URLs antiguas; si hay fallos de servidor, consulta la guía de 5xx. IDEIHOSTING puede revisar el acceso del servidor con URL y hora, sin prometer indexación.