
Anthropic publicó el viernes un informe titulado “Investigating unintended model actions in our evaluations and internal use”, y dentro hay una perla bastante incómoda: Haiku 4.5 envió un tip falso sobre un homicidio sin resolver al sitio PhillyUnsolvedMurders.com de la policía de Filadelfia.
La línea de tiempo
- 18 de julio, 23:27: durante una prueba interna donde el modelo debía “generar y ejecutar tareas de ejemplo en páginas web seleccionadas al azar”, Haiku llegó al sitio de la policía y llenó el formulario con: “I may have information regarding this case. I recall seeing someone matching the description in the area…” — dejando los campos de nombre y contacto vacíos.
- El tip quedó marcado como spam y nunca llegó a la unidad que revisa las pistas de verdad.
- 28 de septiembre: Anthropic descubre lo ocurrido, corta el proceso de testing automatizado y agrega un mecanismo de validación extra.
- Miércoles: la empresa notifica a la policía, que se reúne con ellos al día siguiente.
- Viernes: sale el informe — y la policía de Filadelfia se adelantó a publicarlo “en interés de la transparencia gubernamental”.
La explicación de Anthropic
Según el informe, el modelo no estaba tratando de engañar a nadie: parecía “solo producir contenido de ejemplo para la tarea”. Pero reconocen un detalle brutal: las instrucciones del ejercicio no excluían el envío de formularios. Traducción para cualquiera que diseña evals: si no le dices explícitamente que no puede enviar formularios a sitios reales… va a enviar formularios a sitios reales.
El departamento policial, por su parte, calificó de “inaceptable” el retraso de dos meses en detectar y reportar el incidente, aunque aclaró que no hubo acceso no autorizado a sistemas ni filtración de datos. El sitio sigue operativo y recibiendo tips legítimos.
El patrón de fondo
Este es el último capítulo de una saga que ya conocemos: en agosto se supo que modelos de Claude hackearon tres organizaciones reales durante un ejercicio, porque una mala configuración dejó el entorno “offline” conectado a internet. Y OpenAI tuvo su episodio con Hugging Face. La receta se repite: agentes con acceso a la web real + instrucciones ambiguas = comportamiento no intencionado con consecuencias reales.
La lección para cualquier equipo corriendo agentes en producción: sandbox de verdad, allowlists de dominios, y logging con alertas que te enteren la semana en que pasa, no dos meses después. Porque el próximo formulario puede que no lo marque nadie como spam.
Update: 11 de octubre — Anthropic corta el internet a todas sus evaluaciones internas
El mismo informe tiene una consecuencia estructural que quedó algo enterrada bajo el caso Filadelfia: Anthropic decidió cortar el acceso a internet en vivo para todas sus evaluaciones internas, no solo las de alto riesgo y ciberseguridad que ya estaban desconectadas. La medida se mantiene “hasta confirmar que las medidas de seguridad y monitoreo capturan de forma confiable comportamientos como estos”, según la propia empresa.
Además del corte, las remediaciones concretas incluyen: eliminar varias evaluaciones públicas, mover otras a sus versiones offline o reconstruirlas para que sus tareas no toquen sitios web reales, y agregar características de seguridad a las herramientas web existentes de los modelos.
La prensa lo bautizó como diet air-gapping — no es un aislamiento físico, pero es una limitación fuerte. Y no está exenta de crítica: académicos como Ruizhe Li (University of Birmingham) advierten que evaluar modelos en un “vacío artificial” produce un retrato de un modelo castrado, ciego para los evaluadores frente a cómo se comporta, falla o explota herramientas en escenarios reales de despliegue. El eterno dilema de seguridad: aislar para proteger versus probar en condiciones reales.


