
OpenAI anunció hoy que comenzará a honrar una señal común en robots.txt que permite a los sitios web expresar sus preferencias sobre el uso de su contenido para el entrenamiento de modelos generativos de IA. La medida es voluntaria y se apoya en el trabajo del grupo de trabajo AI Preferences de la IETF.
El problema que intenta resolver
Hoy, si un publisher quiere controlar cómo usan su contenido los distintos proveedores de IA, tiene que identificar los crawlers uno por uno y mantener reglas separadas para cada uno: GPTBot por acá, ClaudeBot por allá, Google-Extended más allá. Multiplica proveedores por reglas y sale un dolor de mantención constante.
Con una señal compartida, el operador del sitio expresa una sola preferencia y varios proveedores la respetan a la vez. Menos burocracia, más claridad.
Lo que dijo OpenAI
- Implementarán la señal “en los próximos meses”, con un anuncio posterior detallando la implementación.
- La señal no reemplaza los controles existentes por crawler: los controles actuales siguen aplicándose y siendo respetados.
- La propuesta se basa en los drafts del IETF AI Preferences WG (señal de preferencia de entrenamiento y vocabulario AIPref).
- OpenAI se suma a “otros participantes” del working group que anunciaron hoy su adhesión a la señal compartida, e invita al resto de los proveedores de IA a honrarla.
Por qué importa (y por qué hay que mirarla con ojos raros)
Esto encaja con la presión que vienen ejerciendo actores como Cloudflare, que llevan meses empujando transparencia de crawlers y control para los creadores de contenido. Que los gigantes de la IA converjan en un estándar del IETF en vez de inventar cada uno su formato es, sinceramente, una buena noticia: interoperabilidad por encima del NIH.
Pero ojo con dos cosas: primero, es voluntario — la señal vale lo que valga la buena fe de quien la lee. Segundo, el diablo está en los detalles de la implementación: qué significa exactamente “honrar”, con qué granularidad, y cómo se audita. Que OpenAI prometa respetarla “en los próximos meses” es el inicio de la conversación, no el final.
Para quienes operan sitios con contenido, el consejo práctico es simple: mantén tus reglas por crawler tal cual están y agrega la señal compartida cuando la implementación aterrice y el ecosistema la soporte de verdad. La promesa es una sola preferencia para todos; mientras eso no sea moneda corriente, la redundancia no pasa de largo.
Update: 1 de noviembre de 2026
La noticia se consolidó más rápido de lo esperado: Google y Microsoft también confirmaron que honrarán la señal, sumándose a OpenAI y Anthropic. Los detalles del reporte de TNW:
- El token concreto es
__usage_ai-trainingen robots.txt, según el draft IETF de Kevin Kelley (Anthropic), y permite bloquear rutas completas salvo excepciones (ej: todo el sitio menos el press kit). - Google apunta a implementarla en inicios de 2027. Detalle relevante: si un sitio usa el token sin mencionar
Google-Extended, Google lo tratará como bloqueo de Google-Extended. - Microsoft la honrará desde el 1 de febrero de 2027, reemplazando los tags
NoArchive/NoCacheque usaba desde 2023, y agrega una configuración page-level separada para grounding (cuando una respuesta AI cita una página viva). Ojo con su advertencia: bloquear grounding “reducirá significativamente tu visibilidad en experiencias generadas por IA”, aunque no cambia el ranking en Bing. - Meta expresó apoyo a una señal común (Andy Stone en X), pero sin comprometerse a honrarla.
Dos caveats que quedan en pie: el draft es una sumisión individual sin respaldo formal del IETF todavía, y los acuerdos privados entre sitio y proveedor de IA pueden sobrescribir la preferencia. Es decir: interoperabilidad real en camino, pero no es un derecho exigible — todavía.


