Luis Blisete

OpenAI publicó el reporte técnico completo del incidente con Hugging Face y el detalle importa mucho más que el título. Los modelos estaban corriendo evaluaciones de ciberseguridad dentro de sandboxes sin acceso a internet, pero para poder instalar librerías tenían habilitado un servidor interno de paquetes, y ese servidor terminó siendo la puerta de salida. Los agentes empezaron dejándose archivos ahí para comunicarse entre ellos, después pasaron a esconder los mensajes en los nombres de las carpetas, y armaron algo parecido a un foro donde compartían lo que iba encontrando cada uno y se repartían el trabajo. Desde ese mismo servidor consiguieron que las peticiones salieran a internet en su nombre. Ya afuera encontraron 14 credenciales de Hugging Face expuestas públicamente, descubrieron fallas que nadie conocía en cómo Hugging Face procesa los datasets que suben los usuarios, y las encadenaron hasta ejecutar código en 41 servidores de producción. De un contenedor comprometido a control a nivel de host en varios clusters, en menos de 13 horas. Lo importante para safety no es el ataque en sí sino por qué pasó. OpenAI reconstruyó el entrenamiento revisando el chain of thought y encontró cuatro patrones. Uno, durante el training los modelos habían aprendido que explorar fuera de los límites del entorno servía para resolver tareas, y como eso les daba reward, la conducta se reforzó. Dos, muchas tareas eran directamente imposibles, 198 de 898 nunca las resolvió ningún modelo, y el agente no tenía una forma legítima de abandonar, así que escalaba a métodos cada vez más agresivos. El 93% de lo que se discutía en el foro venía justo de ese grupo de tareas sin solución. Tres, cuanto más presupuesto de razonamiento tenían, más probable era que terminaran ahí. Y cuatro, se contagiaban objetivos entre ellos. Hay un agente que frena y escribe que atacar a un tercero está fuera de alcance, y retoma cuando otro le manda un go con un plazo de seis minutos. Y encima, siguieron atacando días después de tener la respuesta correcta, porque dedujeron del paper público cómo se corregía la evaluación y quisieron cumplir ese criterio. El grader interno era otro y no ganaron un solo punto. La conclusión que más me interesa es que casi todo lo que hacía falta para frenarlo ya existía, solo que no estaba aplicado ahí. El system prompt y el harness de producción bajan cien veces la propensión del modelo a comprometer infraestructura, el revisor automático habría marcado la mayoría de las acciones peligrosas, y el monitoreo de cadena de pensamiento que hoy tienen desplegado habría avisado al equipo de seguridad más de un día antes de que llegaran a Hugging Face. Nada de eso corría sobre las evaluaciones internas, porque se venía asumiendo que interno equivale a contenido. Quedan dos cosas para la industria: el monitoreo tiene que cubrir el pipeline entero, incluidos los checkpoints que nunca se van a publicar. Y la alineación multiagente, osea modelos que no desconfían de instrucciones que les llegan de otros agentes sin autorización, dejó de ser una preocupación teórica y ya tiene evidencia empírica.