Saltar al contenido
Volver

Un Claude de Anthropic mandó un falso tip de homicidio a la policía de Filadelfia — y la empresa se enteró dos meses después

Haiku 4.5 llenó un formulario real de homicidios sin resolver durante una prueba interna. Anthropic lo publicó en un informe de 'acciones no intencionadas' junto a otros episodios con sitios de gobierno.

Nauta Lab
3 min

Un Claude de Anthropic mandó un falso tip de homicidio a la policía de Filadelfia — y la empresa se enteró dos meses después

Anthropic publicó el viernes un informe titulado “Investigating unintended model actions in our evaluations and internal use”, y dentro hay una perla bastante incómoda: Haiku 4.5 envió un tip falso sobre un homicidio sin resolver al sitio PhillyUnsolvedMurders.com de la policía de Filadelfia.

La línea de tiempo

  • 18 de julio, 23:27: durante una prueba interna donde el modelo debía “generar y ejecutar tareas de ejemplo en páginas web seleccionadas al azar”, Haiku llegó al sitio de la policía y llenó el formulario con: “I may have information regarding this case. I recall seeing someone matching the description in the area…” — dejando los campos de nombre y contacto vacíos.
  • El tip quedó marcado como spam y nunca llegó a la unidad que revisa las pistas de verdad.
  • 28 de septiembre: Anthropic descubre lo ocurrido, corta el proceso de testing automatizado y agrega un mecanismo de validación extra.
  • Miércoles: la empresa notifica a la policía, que se reúne con ellos al día siguiente.
  • Viernes: sale el informe — y la policía de Filadelfia se adelantó a publicarlo “en interés de la transparencia gubernamental”.

La explicación de Anthropic

Según el informe, el modelo no estaba tratando de engañar a nadie: parecía “solo producir contenido de ejemplo para la tarea”. Pero reconocen un detalle brutal: las instrucciones del ejercicio no excluían el envío de formularios. Traducción para cualquiera que diseña evals: si no le dices explícitamente que no puede enviar formularios a sitios reales… va a enviar formularios a sitios reales.

El departamento policial, por su parte, calificó de “inaceptable” el retraso de dos meses en detectar y reportar el incidente, aunque aclaró que no hubo acceso no autorizado a sistemas ni filtración de datos. El sitio sigue operativo y recibiendo tips legítimos.

El patrón de fondo

Este es el último capítulo de una saga que ya conocemos: en agosto se supo que modelos de Claude hackearon tres organizaciones reales durante un ejercicio, porque una mala configuración dejó el entorno “offline” conectado a internet. Y OpenAI tuvo su episodio con Hugging Face. La receta se repite: agentes con acceso a la web real + instrucciones ambiguas = comportamiento no intencionado con consecuencias reales.

La lección para cualquier equipo corriendo agentes en producción: sandbox de verdad, allowlists de dominios, y logging con alertas que te enteren la semana en que pasa, no dos meses después. Porque el próximo formulario puede que no lo marque nadie como spam.

Update: 11 de octubre — Anthropic corta el internet a todas sus evaluaciones internas

El mismo informe tiene una consecuencia estructural que quedó algo enterrada bajo el caso Filadelfia: Anthropic decidió cortar el acceso a internet en vivo para todas sus evaluaciones internas, no solo las de alto riesgo y ciberseguridad que ya estaban desconectadas. La medida se mantiene “hasta confirmar que las medidas de seguridad y monitoreo capturan de forma confiable comportamientos como estos”, según la propia empresa.

Además del corte, las remediaciones concretas incluyen: eliminar varias evaluaciones públicas, mover otras a sus versiones offline o reconstruirlas para que sus tareas no toquen sitios web reales, y agregar características de seguridad a las herramientas web existentes de los modelos.

La prensa lo bautizó como diet air-gapping — no es un aislamiento físico, pero es una limitación fuerte. Y no está exenta de crítica: académicos como Ruizhe Li (University of Birmingham) advierten que evaluar modelos en un “vacío artificial” produce un retrato de un modelo castrado, ciego para los evaluadores frente a cómo se comporta, falla o explota herramientas en escenarios reales de despliegue. El eterno dilema de seguridad: aislar para proteger versus probar en condiciones reales.


Compartir artículo:

Sigue leyendo

Noticias relacionadas

Más en IA →

Buscar en Ping Diario