Hector

«Ten cuidado con lo que deseas». Los cuentos sobre genios llevan siglos enseñándonos la misma lección. Si formulas mal un deseo, el genio lo cumplirá... pero probablemente no como esperabas. Eso es, precisamente, lo que acaba de ocurrir en un experimento de OpenAI. En los últimos días han circulado titulares del tipo «una IA de OpenAI hackeó Hugging Face». Suena a ciencia ficción... pero la realidad es bastante más interesante. Os cuento... OpenAI estaba evaluando las capacidades de ciberseguridad de dos de sus modelos más avanzados, GPT-5.6 Sol y un modelo todavía sin publicar aún más potente (¿GPT-6?), utilizando un entorno de pruebas llamado ExploitGym. Para ello relajó temporalmente algunos de sus guardarraíles y lo ejecutó dentro de un entorno aislado (sandbox). El objetivo era muy simple: obtener la máxima puntuación posible en la prueba. Según ha explicado la propia OpenAI, los modelos encontraron una vulnerabilidad que les permitió escapar del entorno restringido, acceder a Internet y deducir que Hugging Face probablemente almacenaba información relacionada con el benchmark. A partir de ahí encadenaron varias acciones hasta acceder a datos que les permitían resolver la prueba con una puntuación perfecta. En otras palabras, hicieron trampas para resolver el examen. ¿Significa esto que la IA «quería» hackear Hugging Face (como están diciendo algunos medios)? No, para nada. Dejémonos de sensacionalismos porque la respuesta es bastante más simple. Lo que hizo el modelo es, sencillamente, optimizar el objetivo que le habían dado. Pensadlo bien. Si a un sistema extremadamente competente le dices «consigue la máxima puntuación», buscará el camino más eficaz para lograrlo... aunque ese camino no sea el que los investigadores esperaban. Es el mismo motivo por el que, si pides tres deseos a un genio, conviene elegir muy bien las palabras. Los sistemas de optimización suelen interpretar las instrucciones de forma mucho más literal de lo que imaginamos. Este incidente no demuestra que las IAs sean malvadas o que tengan voluntad propia y estemos próximos al alzamiento de Skynet. Tan solo demuestra que especificar correctamente los objetivos y diseñar buenos mecanismos de contención será uno de los grandes retos de la IA de los próximos años. OpenAI y Hugging Face han confirmado que están colaborando estrechamente en la investigación. El CEO de Hugging Face, Clément Delangue, ha declarado que creen firmemente que no hubo intención maliciosa por parte de OpenAI y que resulta "quite mind-blowing" que todo ocurriera de forma autónoma. Durante el fin de semana del ataque, el agente llegó a ejecutar más de 17.000 acciones automatizadas. Para analizar los logs, Hugging Face tuvo que recurrir a GLM-5.2, un modelo de pesos abiertos chino, porque el modelo cerrado que probaron primero se negó a examinar el material por contener payloads de ataque. Como respuesta, OpenAI ha incorporado ahora a Hugging Face a su programa de acceso confiable para defensores, pensada específicamente para facilitar tareas legítimas de ciberseguridad. Porque una IA no necesita malas intenciones para hacer algo inesperado. Basta con que cumpla demasiado bien el objetivo que le hemos marcado. Si os interesa el detalle técnico completo, os invito a leer el artículo que he publicado en mi web pedrocarvalho.es (link en el siguiente post).