Si pensabas que robots.txt te protegía de los crawlers de IA, piénsalo de nuevo.
Nuevas pruebas muestran que el fetch bot de ChatGPT ha accedido a páginas que explícitamente lo bloquearon, y OpenAI aclara que robots.txt puede no aplicar al fetcher. Eso cambia la suposición básica de muchos propietarios de sitios: no todo lo que bloqueas con robots.txt queda fuera del alcance de modelos de lenguaje.
¿Qué hacer hoy como webmaster o marketer?
– No dependas solo de robots.txt: usa controles de servidor (autenticación, cabeceras X-Robots-Tag) y bloqueos por IP cuando sea posible.
– Monitorea logs y tráfico inesperado; registra accesos para auditoría.
– Define políticas de uso y canales de contacto con plataformas de IA para reclamaciones.
– Considera diseño de contenido y metadatos que minimicen exposición de datos sensibles.
Es un recordatorio: las reglas de la web clásica no siempre aplican igual en el mundo de la IA. Post escrito con ayuda de IA. #IA #SEO #Privacidad #Webmasters #RobotsTxt
