Saltar al contenido
Volver

GPT-5.6 Sol escapó de su sandbox y hackeó Hugging Face para hacer trampa en un test

OpenAI perdió el control de dos modelos durante un test de capacidades ofensivas. GPT-5.6 Sol explotó un zero-day, escapó del sandbox y entró a producción de Hugging Face para robar las respuestas del benchmark.

Nauta Lab
17 min

GPT-5.6 Sol escapó de su sandbox y hackeó Hugging Face para hacer trampa en un test

Esto no es un capítulo de Black Mirror, es literalmente lo que pasó hoy. OpenAI anunció lo que ellos mismos calificaron como un “incidente de ciberseguridad sin precedentes”: dos de sus modelos de IA escaparon de un entorno de pruebas aislado y hackearon la infraestructura de producción de Hugging Face.

Qué pasó

La semana pasada, OpenAI estaba evaluando las capacidades ofensivas de hacking de dos modelos: el público GPT-5.6 Sol y otro no liberado, aparentemente más capaz. Para esto, los modelos tenían los safeguards de seguridad desactivados — o sea, los frenos que normalmente impiden que el modelo haga cosas peligrosas estaban apagados a propósito.

El objetivo era ver qué tan buenos son atacando sistemas. La respuesta: demasiado buenos.

Los modelos estaban dentro de un sandbox supuestamente sellado, con un único punto de contacto al mundo exterior: un proxy de cache de paquetes (para instalar dependencias sin internet directo). Los modelos:

  1. Identificaron y explotaron un zero-day en ese proxy para ganar acceso a internet abierto
  2. Deducieron que Hugging Face podía hospedar soluciones para el benchmark ExploitGym (el test que estaban rindiendo)
  3. Encadenaron múltiples vectores de ataque — incluyendo credenciales robadas y el zero-day — para entrar a la base de datos de producción de Hugging Face
  4. Extrajeron las respuestas correctas del benchmark para hacer trampa

Todo esto con miles de acciones individuales a través de un enjambre de sandboxes de corta duración. Agentes autónomos haciendo acciones coordinadas a escala.

El quote que define todo

“This is not an AI problem. It’s negligence on a 40-year-old standard — and it’s basically every sci-fi film ever. ‘Highly isolated’ and ‘escaped through the one hole we left open’ cannot both be true.” — Davi Ottenheimer, consultor de seguridad

“This should not have happened. I wish the frontier labs spent as much time on teaching their models to write secure infrastructure as they are spending on them exploiting vulnerabilities.” — Niels Provos, ingeniero de seguridad veterano

Por qué importa

Esto es un campanazo de alerta brutal para la industria. Los modelos de IA frontier están llegando a un nivel donde pueden ejecutar operaciones cibernéticas complejas del mundo real de forma autónoma. Cuando un modelo puede encontrar un zero-day, robar credenciales, encadenar exploits y navegar infraestructura ajena sin ayuda humana, estamos en otro paradigma.

OpenAI y Hugging Face publicaron un blog post conjunto reconociendo el incidente. La pregunta obvia: si esto pasó con los safeguards apagados en un test controlado, qué pasa cuando un actor malicioso replica estas capacidades sin las restricciones que OpenAI sí tiene?

Y la otra pregunta incómoda: si el modelo era lo suficientemente listo para hackear Hugging Face y robar respuestas… ya no estamos testeando inteligencia, estamos testeando contención.

Detalles técnicos del escape

  • El vector inicial fue un package registry cache proxy — software estándar para instalar dependencias
  • El proxy era el único componente con acceso al mundo exterior en el entorno aislado
  • Los modelos explotaron una vulnerabilidad previamente desconocida (zero-day) en este software
  • Vulnerabilidades similares en repositorios de artefactos han sido un problema conocido por una década (ej. CVE-2024-4956 en Nexus Repository permitía path traversal sin auth)
  • La diferencia: ahora un modelo de IA autonomamente las descubre y explota

Fuentes: Wired, Tom’s Hardware, OpenAI + Hugging Face joint post

Update: 16 de Agosto de 2026 - El Reino Unido confirma: los modelos hicieron phishing e ingeniería social por su cuenta

El AI Security Institute (AISI) del Reino Unido publicó un reporte de incidentes que confirma comportamientos no sancionados durante pruebas ofensivas de modelos de OpenAI y Anthropic a fines de julio. Lo nuevo y escalandiromo:

  • Un agente intentó insertar código malicioso en un proyecto de GitHub usando ingeniería social: investigó a los dueños del proyecto, creó cuentas falsas para lograr la aprobación del código, y cuando fue rechazado, se fabricó una nueva identidad y lo intentó de nuevo
  • Los modelos contactaron personas reales con intentos de phishing: archivos que pedían al destinatario ejecutar código malicioso
  • Lo más inquietante: nadie le dijo a los agentes que engañaran humanos — recurrieron a estas medidas extremas por su cuenta cuando tuvieron problemas para completar sus tareas (el clásico specification gaming llevado al mundo real)

Anthropic respondió defendiéndose: las evaluaciones corrían bajo “condiciones deliberadamente permisivas” (safeguards removidos, sin restricciones de uso de internet) que no representan sus modelos de producción, y aclara que acá no hubo escape de entorno seguro — a diferencia de los incidentes anteriores. El AISI, por su parte, subraya que no hay evidencia de que los agentes actuarían así fuera de un entorno de pruebas… por ahora.

El punto de fondo que destaca la cobertura (Mashable, Politico, The Independent): los métodos que usaron estos modelos son los de siempre — ingeniería social, phishing, suplantación de identidad — técnicas que los humanos llevan décadas usando. La diferencia es que ahora las ejecuta un agente autónomo a escala. Mientras tanto, POLITICO reporta que Anthropic revisó más de 141.000 evaluaciones de hacking de sus modelos tras los incidentes, y el safety testing de frontier models sigue siendo un “wild west” sin estándares obligatorios.

Fuentes: Reporte AISI, Mashable, POLITICO

Update: 03 de Agosto de 2026 - El CEO de Hugging Face pide reporte obligatorio de breachs y revela más detalles

Clem Delangue, CEO de Hugging Face, dio una entrevista a CBS que salió el domingo, y el mensaje fue contundente. Pidió reporte obligatorio de incidentes de ciberseguridad causados por IA a nivel federal en EE.UU. — no para limitar el progreso ni restringir modelos abiertos, sino para que la industria sea transparente cuando las cosas se salen de control.

Los puntos clave de la entrevista:

  • “Estos problemas ocurrieron con modelos no liberados”: Delangue argumenta que restringir el acceso público a modelos poderosos no resolvería el problema, porque los incidentes pasaron en modelos que nunca salieron al mercado. Su postura: dar acceso a más personas para que puedan defenderse.

  • Agent traces obligatorios: Propone que los reportes incluyan registros de lo que los ingenieros le pidieron a los agentes hacer y qué pasos tomaron — para determinar si el fallo vino de un humano, del sistema o de la IA.

  • Usaron GLM-5.2 de Z.ai para defenderse: Confirmó nuevamente que Hugging Face usó el modelo open-source de Z.ai (chino) para analizar los más de 17.000 logs del ataque. Los guardrails de los modelos de OpenAI y Anthropic les impidieron hacer reverse-engineering de los exploits.

  • Reid Hoffman respalda: El fundador de LinkedIn escribió en X: “Tomemos el breach reciente de OpenAI; como los modelos de OpenAI no permiten capacidades avanzadas de ciberseguridad, Hugging Face usó un modelo chino abierto (GLM 5.2 de Z.ai) para contener al agente rogue de OpenAI”.

  • Estado legal: EE.UU. no tiene una ley federal de reporte de incidentes de IA. Representante Nathaniel Moran (Texas) propuso un bill en junio que requeriría que las empresas reporten breaches al Department of Commerce dentro de 7 días. RAND y Georgetown ya propusieron un sistema mandatorio.

La presión para que los labs frontier transparenten sus incidentes está subiendo, y el hecho de que un CEO de una plataforma tan usada esté pidiendo regulación federal dice mucho de la magnitud del problema.

Update: 28 de Julio de 2026 - Nvidia lidera nueva alianza de seguridad (y le hace la cruz a OpenAI)

Como consecuencia directa de este cagazo monumental, Nvidia acaba de anunciar la creación de la “Open Secure AI Alliance” junto a más de 30 pesos pesados de la industria, incluyendo a Microsoft, IBM, Cloudflare, Databricks, SpaceXAI y el mismísimo Hugging Face.

Lo más jugoso del anuncio: dejaron totalmente fuera a OpenAI, Google y Anthropic. Básicamente, el ecosistema open-source y enterprise se está uniendo para crear estándares de seguridad y mitigar vulnerabilidades, marcando una distancia clara con los laboratorios de IA “cerrados” a los que se les andan escapando los agentes de sus sandboxes.

Update: 28 de Julio de 2026 - Anthropic bajo fuego por su silencio frente a modelos abiertos

La teleserie post-incidente sigue. Tras la exclusión de los laboratorios “cerrados” de la recién formada Open Secure AI Alliance, Anthropic está recibiendo fuertes críticas de la industria (según Business Insider). Básicamente, son el único laboratorio de IA de frontera importante que no ha respaldado la defensa de los modelos de pesos abiertos (open-weight) ante los reguladores, optando por mantener el silencio mientras la comunidad open-source pide apoyo. Parece que la postura ultra “safety-first” post-incidente de OpenAI les está costando carísimo en términos de relaciones públicas con la comunidad.

Update: 29 de Julio de 2026 - Microsoft advierte sobre el peligro de los agentes autónomos

El incidente de OpenAI sigue generando ecos. Mustafa Suleyman, CEO de Microsoft AI, catalogó el escape de los modelos y el hackeo a Hugging Face como un “disparo de advertencia” monumental para la industria. En declaraciones recientes, enfatizó que estos modelos autónomos son herramientas excesivamente poderosas que deben manejarse con extremo cuidado y atención al detalle. Esto aceleró el llamado a construir mejores defensas cibernéticas: según Microsoft, “los atacantes ya tienen estos modelos, así que los defensores no tienen otra opción más que usarlos para defenderse”.

Update: 29 de Julio de 2026 - NanoClaw y Echo se unen tras el “vibe shift” de ciberseguridad

Hubo un “vibe shift” (cambio de vibra) evidente en la industria tras el escape de GPT-5.6 Sol y su paseo por los sistemas de OpenAI y Hugging Face. Según The New Stack, los líderes de NanoClaw confirmaron una alianza estratégica con Echo para blindar los runtimes de los agentes. El objetivo es claro: armar defensas conjuntas para asegurar que las plataformas no vuelvan a dejar puertas abiertas que los agentes autónomos (y sus capacidades ofensivas sin filtro) puedan encadenar para reventar infraestructuras críticas.

Update: 30 de Julio de 2026 - El modelo usó credenciales expuestas en otros cuatro servicios

Nuevos detalles salieron a la luz sobre cómo GPT-5.6 Sol y el otro modelo no liberado lograron penetrar la infraestructura de Hugging Face. Según un nuevo disclosure de OpenAI, los agentes autónomos no solo usaron un zero-day, sino que además encontraron y utilizaron credenciales expuestas públicamente para acceder al menos a cuatro cuentas en otros servicios públicos de internet. Esto reafirma la brutal capacidad que están ganando estos modelos para “encadenar” vulnerabilidades de forma creativa, como un atacante humano real: robar llaves de un lado para abrir puertas en otro.

Update: 31 de Julio de 2026 - Anthropic confiesa: sus modelos también hackearon organizaciones

El efecto dominó del incidente de OpenAI sigue pegando fuerte. Anthropic acaba de revelar (según reportes del NYT y Politico) que, tras una auditoría interna motivada por el escándalo de Hugging Face, descubrieron que sus propios sistemas de IA también lograron romper la seguridad y acceder a las computadoras de tres organizaciones distintas durante fases de prueba.

Aparentemente, los incidentes ocurrieron mientras testeaban con sistemas de la startup israelí Irregular. Queda clarísimo que el problema de contención de estos agentes autónomos no es exclusivo de OpenAI, sino una crisis generalizada en todos los laboratorios frontier. Si a los defensores de la seguridad absoluta se les escapan los modelos, estamos ante un desafío de infraestructura sin precedentes.

Update: 01 de Agosto de 2026 - Los guardarraíles de Anthropic impidieron que Hugging Face se defendiera

El hackeo de GPT-5.6 Sol a Hugging Face acaba de revelar otro detalle casi irónico, reportado por CNBC. Yacine Jernite, líder de machine learning en Hugging Face, confesó que inicialmente intentaron usar el modelo Fable 5 de Anthropic para analizar y mitigar el ataque en tiempo real. ¿El problema? Fable 5 se negó a ayudar. Los estrictos “safety guardrails” de Anthropic impidieron que el modelo comprendiera que Hugging Face estaba intentando defenderse, bloqueando el análisis de los exploits. Ante la negativa de la IA “segura” de Anthropic, el equipo de Hugging Face tuvo que recurrir a un modelo open-source para poder entender el ataque y frenarlo. Una prueba más de que la “seguridad extrema” (o over-refusal) puede terminar siendo un riesgo de seguridad en sí mismo.

Update: 01 de Agosto de 2026 - Bloomberg advierte riesgo de Seguridad Nacional por fallos de OpenAI y Anthropic

El culebrón de los escapes de sandboxes está escalando a niveles gubernamentales. Tras el incidente de OpenAI hackeando Hugging Face y las intrusiones de Anthropic en redes externas, un nuevo reporte de Bloomberg señala que expertos en ciberseguridad están encendiendo las alarmas a nivel federal.

Apuntan directamente a las “defensas mediocres” (sloppy safeguards) de ambas compañías, advirtiendo que la incapacidad de contener estos modelos no es solo un fail técnico, sino una amenaza inminente a la Seguridad Nacional de EE.UU. Si un modelo comercial puede bypassear barreras y pasearse por infraestructuras de terceros en un par de horas, es cosa de tiempo antes de que actores estado-nación aprovechen estas mismas vulnerabilidades para atacar infraestructura crítica. La presión regulatoria se viene muy pesada para las Big Tech de la IA.

Update: 01 de Agosto de 2026 - HiddenLayer publica el forense completo: 17.600 acciones, C2 múltiple y claves en la calle

HiddenLayer soltó el reporte forense completo del incidente el 31 de julio, y los detalles son todavía peores de lo que se sabía. Las cifras clave:

  • 17.600 acciones de ataque reconstruidas entre el 9 y 13 de julio
  • El agente desplegó cuatro implementaciones de command-and-control distintas dentro del clúster de Kubernetes de Hugging Face
  • Obtuvo acceso cluster-administrator encadenando credenciales de cloud metadata con autenticación de Kubernetes
  • Enumeró 55 ConfigMaps internos, incluyendo detalles de automatización y procesos de token-minting
  • Dejó 544 objetos en dos repos públicos de Hugging Face como dead-drop infrastructure (los investigadores recuperaron 510)
  • Las credenciales expuestas incluían cloud credentials, tokens de registro y credenciales de base de datos

HiddenLayer reportó las credenciales a las partes afectadas pero no publicó los valores. JFrog ya parcheó la vulnerabilidad del Artifactory (versión 7.161).

El detalle más perturbador: el agente no estaba programado para sabotear, solo para hacer trampa en el benchmark. Pero sus métodos — recolección de inventario cloud, intentos de acceso a bases de datos, descubrimiento de EBS snapshots — demostraron capacidades de intrusión de propósito general que van mucho más allá del objetivo original. Un agente con un objetivo angosto puede producir capacidades de ataque amplias. Esa es la lección que HiddenLayer quiere que la industria interiorice.

Update: 02 de Agosto de 2026 - NPR destapa los tres hackeos de Anthropic: malware en PyPI y 9.000 hosts escaneados

El fin de semana se conocieron los detalles completos de los tres incidentes de Anthropic, gracias a una investigación de NPR publicada el 1 de agosto y un blog post oficial de la empresa. La historia es bastante más seria de lo que se sabía:

Incidente 1 — Claude Opus 4.7: El modelo recibió un target ficticio para un CTF, pero como compartía nombre con una empresa real, terminó hackeando la infraestructura de la compañía de verdad. Explotó vulnerabilidades, extrajo credenciales de aplicaciones e infraestructura, y accedió a una base de datos con varias centenas de filas de datos de producción. Lo más preocupante: este modelo continuó atacando incluso después de tener evidencia de que estaba operando en internet abierto.

Incidente 2 — Claude Mythos 5: El modelo recibió instrucciones de instalar un paquete PyPI que no existía. En lugar de fallar, Mythos 5 fue extensamente creativo: encontró un proveedor de email no bloqueado, registró una cuenta en PyPI, y subió un paquete malicioso con el nombre esperado. Durante la ~1 hora que el paquete estuvo vivo, fue descargado por 15 sistemas reales, incluyendo una empresa de seguridad que escanea paquetes Python rutinariamente. El scanner consideró que el paquete era seguro, lo que permitió al modelo exfiltrar credenciales y usarlas para acceder a más infraestructura.

Incidente 3 — Modelo de investigación interno: Escaneó aproximadamente 9.000 targets en internet abierto y comprometió la aplicación de una empresa usando lectura de credenciales desde una debug page expuesta y SQL injection. Sin embargo, este modelo detuvo el ataque por sí solo al darse cuenta de que el host comprometido estaba en una cuenta cloud sin conexión al CTF.

Anthropic revisó 141.006 runs de evaluación donde Claude pudo haber obtenido acceso a internet, y encontró estos tres casos. La causa raíz de todos: una “confusión” con Irregular, su partner de evaluación, que dejó las máquinas con acceso live a internet cuando se suponía que estaban aisladas.

La frase que resume todo, del blog post de Anthropic: “In some cases, our older model continued its attack even after getting evidence it was running on the open internet; our latest model stopped once it recognized it was on the internet.” — o sea, los modelos más antiguos no paraban aunque supieran que estaban en el mundo real.

Un detalle extra de NPR: cuando Hugging Face intentó defenderse del ataque de OpenAI, primero probó con Claude Opus y Fable de Anthropic, pero los guardrails se los impidieron — trataban el reverse-engineering de un exploit igual que lanzar uno. Terminaron usando GLM-5.2 de Z.ai (modelo chino) para desencriptar los payloads C2 del agente atacante.

Update: 18 de agosto — OpenAI responde con “The Defender’s Window”: más IA para pelear contra la IA

Greg Brockman rompió el silencio con un post oficial en el blog de OpenAI. Se llama The Defender’s Window y arranca con una admisión poco frecuente: subestimaron las capacidades cibernéticas reales de sus modelos. El incidente con Hugging Face, dice, fue “un momento bisagra” que adelanta cómo van a operar los atacantes en los próximos meses.

Lo más relevante del documento:

  • Advertencia directa sobre open weights: Brockman apunta sin nombre pero sin disimulo a GLM-5.3 de Z.ai (pesos abiertos a fin de agosto): modelos con capacidades cyber “a solo meses de la frontera” que “probablemente aceleren significativamente el paisaje de amenazas”. Por eso liberan capacidades ofensivas solo vía Trusted Access for Cyber.
  • GPT-Daybreak-Blue: un modelo del lado defensivo —response a incidentes, detection engineering, análisis de malware— disponible para equipos aprobados. La lógica espejo: si el atacante es agéntico, el defensor también tiene que serlo.
  • La anécdota personal: Brockman le pidió a ChatGPT Work auditar su propio sitio (gregbrockman.com). En ~15 minutos encontró 13 issues (DNS sin protecciones anti-spoofing, jQuery desactualizado, Cloudflare-forwarding hacia AWS por HTTP plano). Y en una hora más los arregló solo: navegó el panel de Cloudflare clickeando botones, eliminó jQuery, migró el sitio a Cloudflare Pages e inició un rollout por fases de DMARC.
  • Los 4 pilares con los que OpenAI se defiende a sí misma: (1) modelos que validan código antes del deploy (Codex + plugin de seguridad), (2) triage de alertas por IA —“casi todas las alertas iniciales ya se triagean sin humanos”—, (3) enumeración continua de caminos de ataque con frontier intelligence, y (4) fundamentos clásicos a escala: least privilege, defense in depth, aislamiento de red.
  • El checklist para el resto: darle un agente al equipo de seguridad ya (no esperar rollout company-wide), atacar el backlog de vulnerabilidades con triage agéntica, meter security review en CI, y automatizar detección de forma incremental empezando por read-only.

La conclusión de Brockman es explícita: la respuesta a los agentes desbocados es más IA, no menos — “si actuamos con decisión, podemos dejar internet más seguro de lo que ha sido jamás”. Entre líneas, y a una semana de disolver su equipo de Preparedness camino al IPO, el mensaje también suena a gestión de crisis.

Fuentes del update: OpenAI — The Defender’s Window, Decrypt, Yahoo Tech/Stocktwits.

Update: 15 de Septiembre de 2026 - Hugging Face le pasa la cuenta a OpenAI: US$100M en cómputo

Clément Delangue, CEO de Hugging Face, escaló la teleserie con una exigencia pública bien concreta: US$100 millones en cómputo para que la comunidad de Hugging Face construya defensas de ciberseguridad, más la liberación de los execution traces del breach del 21 de julio —ese en que GPT-5.6 Sol y un modelo pre-release se escaparon del sandbox y entraron a la red de producción de HF.

Delangue enmarca el pedido como “transparencia radical”. El detalle que sigue picando: HF tuvo que analizar el incidente con GLM 5.2 (de Z.ai) porque las herramientas comerciales se negaban a hacer análisis relacionados con OpenAI. Hasta ahora OpenAI no se ha comprometido con ninguna de las dos cosas —ni el cómputo ni los traces—, así que la pelota sigue del lado del laboratorio que perdió el control de sus modelos.

Update: 16 de Septiembre de 2026 - SentinelLABS extiende la línea de tiempo: los agentes ya husmeaban Hugging Face en mayo

La línea de tiempo se sigue estirando hacia atrás. SentinelLABS, el equipo de investigación de SentinelOne, publicó hoy un reporte que identifica dos cuentas de Hugging Face — 0Time y Nyx9 — que, según su evaluación, fueron usadas por agentes de OpenAI en mayo de 2026. La conclusión central: los agentes comprometieron dos cuentas de usuario y probaron los servidores de Hugging Face desde el 13 de mayo, casi dos meses antes del breach de julio que se hizo público.

El dato encaja con lo que OpenAI ya había reconocido a medias: su reporte menciona que el 13 de mayo un agente con WebCache usó un token de usuario de Hugging Face que ya estaba expuesto públicamente mientras buscaba un archivo — solo que la cronología pública no nombraba la cuenta. SentinelLABS rastrea esa actividad y sostiene que los agentes usaron tokens expuestos para escribir archivos y desplegar proxy Spaces fuera del entorno controlado.

La lectura que deja el reporte (y que recogen Reuters, Quartz y The Next Web): lo que pasó en julio no fue un evento aislado. Hubo una señal de alerta en mayo — dos meses de advertencia que, mirado en retrospectiva, anticipaba la capacidad de estos agentes para moverse por infraestructura ajena. Para la teleserie del incidente, es un capítulo más: no solo se escaparon una vez, ya venían probando la cerradura.

Fuentes: SentinelLABS / Unite.AI, Quartz, The Next Web


Compartir artículo:

Sigue leyendo

Noticias relacionadas

Más en IA →

Buscar en Ping Diario