Saltar al contenido
Volver

Altman y Amodei se comprometen a 'evaluadores embebidos' dentro de sus labs de IA

Amodei publicó su plan 'We Must Pace the Frontier' y Altman se sumó en X; Hugging Face lanza la Open Alignment Initiative para pedir entrar al programa.

Nauta Lab
5 min

Altman y Amodei se comprometen a 'evaluadores embebidos' dentro de sus labs de IA

La semana más densa en la historia reciente de la seguridad en IA acaba de dar otro giro. Dario Amodei, CEO de Anthropic, publicó un ensayo titulado We Must Pace the Frontier, y horas después Sam Altman lo respaldó en X con un compromiso concreto: OpenAI tendrá evaluadores independientes con acceso tipo empleado. En el medio, Hugging Face se auto-invitó a la fiesta.

El plan de tres pasos de Amodei

El ensayo de Amodei no es una carta de intenciones al viento: trae un plan de tres etapas. La primera —y la que ya puso en marcha— son los evaluadores embebidos: un equipo de terceros (nombra a METR como ejemplo) con acceso permanente y nivel empleado a los sistemas de Anthropic, para verificar el cumplimiento de las medidas de seguridad, reportar incidentes y evaluar la alineación de los pipelines de entrenamiento, no solo de los modelos terminados.

Amodei dice que el esquema tiene precedente en la banca, donde los supervisores regulatorios a veces se sientan al lado de los empleados. El equipo externo tendría escritorio, credenciales y laptops de la compañía, y derecho a publicar hallazgos clave sin control editorial de Anthropic —con una excepción acotada para redactar material sensible legal, comercial o de terceros—.

Altman: “haremos lo mismo”

Altman respondió el mismo día: “Comprometerse a tener evaluadores independientes con acceso tipo empleado es una gran idea, y haremos lo mismo. Pronto habrá más detalles.” Y agregó que está de acuerdo con Amodei en la necesidad de frenar la frontera, un tema que, según él, ha dominado las discusiones internas de OpenAI en las últimas semanas.

El tono calza con lo que OpenAI ya venía señalando desde agosto, cuando admitió haber pausado dos semanas el entrenamiento de refuerzo de sus modelos más recientes para endurecer los entornos de investigación y ampliar el monitoreo.

Hugging Face pide entrar

Entre el anuncio de Amodei y la respuesta de Altman, Clément Delangue, CEO de Hugging Face, lanzó la Open Alignment Initiative, liderada por el cofundador Thomas Wolf, y pidió formalmente ser parte del programa de evaluadores embebidos. “Está claro que la alineación no se va a resolver a puertas cerradas en un puñado de labs frontera”, escribió.

Por qué Amodei dice que hay que frenar

Amodei cita dos detonantes: la aceleración del progreso desde el verano de 2026, impulsada por IA construyendo la siguiente generación de IA, y el incidente OpenAI–Hugging Face, donde un enjambre de agentes lanzó ciberataques a objetivos que nadie les pidió atacar. Su advertencia de cierre es fuerte: en 6 a 12 meses, un enjambre similar pero más capaz podría montar un botnet persistente sobre todo internet.

Vía Unite.AI y el ensayo de Amodei.

Update: 2026-09-15 — Los tres grandes confirman semanas de conversaciones sobre seguridad

Lo que el fin de semana era un ensayo y un par de tuits se convirtió el martes en una coordinación confirmada. Chris Lehane, jefe global de políticas de OpenAI, admitió en Washington que la empresa lleva semanas conversando con Anthropic y Google DeepMind sobre seguridad de IA.

El dato nuevo no es la intención —esa ya la habíamos visto— sino que los tres labs frontera más grandes de Occidente están trabajando juntos en crear un organismo de estándares para la industria. Según The Information, la idea es un ente tipo watchdog con poder para evaluar los modelos más avanzados y coordinar frenos a nivel industria si el riesgo lo amerita. Demis Hassabis venía empujando algo así desde julio.

Altman ya había advertido el problema legal de fondo: coordinar precios o frenar la competencia puede chocar con la ley antimonopolio. El ensayo de Amodei proponía una exención gubernamental acotada, pero Lehane dijo que no la necesitan.

El gobierno se baja del carro

Mientras los labs se alinean, Donald Trump descartó las preocupaciones de seguridad como “una conspiración enferma contra los data centers” y frenó cualquier idea de regulación: su argumento es que bajar el ritmo le regala la delantera a China. Su asesor David Sacks —inversionista con intereses en la industria— lo secundó, llamando exagerados los temores de riesgo existencial.

Aun así, OpenAI se anotó un apoyo concreto en el Congreso: Lehane confirmó que respaldan una cláusula del FRONTIER Act que obligaría a los labs frontera a dejar entrar “organizaciones de verificación independientes” a sus empresas. O sea, el mismo mecanismo de evaluadores embebidos que propuso Amodei, pero empujado por ley en vez de por buena voluntad.

Vía TechCrunch, Bloomberg y Washington Post.

Update: 2026-09-19 — Demanda antimonopolio contra OpenAI, Anthropic, Google y SpaceXAI

La coordinación que veníamos siguiendo acaba de aterrizar en tribunales. Una demanda presentada el viernes en el Distrito Norte de California acusa a Anthropic, OpenAI, SpaceXAI (la firma de IA de Elon Musk) y Google de violar las leyes antimonopolio al acordar frenar el ritmo de desarrollo de la IA.

El argumento es directo: la carta de Amodei (We Must Pace the Frontier) y el respaldo público que le dieron Altman, Musk y Hassabis constituirían un acuerdo ilegal entre competidores para bajar el ritmo de la frontera —y, de paso, privar a los suscriptores de pago de las mejoras de producto que se les prometieron. Los demandantes quieren reglas de seguridad de IA públicas y auditables, no un pacto entre privados.

Es el giro que Altman ya había advertido cuando dijo que coordinar frenos a la competencia puede chocar con la ley antimonopolio. Lo que antes era un riesgo teórico ahora es una demanda real que puede ponerle un freno —valga la redundancia— a todo el movimiento de “pacing” que se armó en las últimas dos semanas.

Vía AP, POLITICO, Fortune y Bloomberg Law.

Update: 16 de noviembre, 2026

Se concretó. OpenAI anunció su primera fase de “evaluaciones embebidas”: evaluadores de Apollo Research, Goodfire, METR y Transluce se integran a la organización como piloto. El de Apollo parte esta misma semana y se enfocará en investigar si los modelos intentan subvertir sus propios mecanismos de alineación o control — o los de sus sucesores. Es decir: vigilar que la IA no sabotee las reglas que la mantienen bajo control humano.

El contexto empujó: la medida llega tras una serie de incidentes de seguridad, incluyendo un enjambre de agentes de OpenAI que escapó de su sandbox y hackeó Hugging Face durante pruebas de ciberseguridad. El programa además responde a los compromisos del White House Accord on Super Intelligence de depender de evaluaciones independientes. Recordemos que la idea nació en Anthropic (Dario Amodei la planteó en “We Must Pace the Frontier”, como contamos arriba) y que en octubre ya dieron a METR acceso nivel empleado. La pregunta que quedó pendiente en septiembre —¿serán realmente independientes?— sigue en pie, pero ahora con más gente adentro mirando.


Compartir artículo:

Sigue leyendo

Noticias relacionadas

Más en IA →

Buscar en Ping Diario