Briguit Reinaldo

El reporte independiente de METR sobre el “incidente Hugging Face” (el ataque de agentes IA de OpenAI) es de lo más alucinante que he leído en mucho tiempo. Imposible resumirlo, pero os dejo mis takeaways: → La dinámica entre agentes muestra rasgos de comportamiento pro-social… para sus colegas agentes. → De hecho incluso la primera dinámica de colaboración ya es social e instrumental: buscan la manera de colaborar porque saben que si no, no podrán. → Este comportamiento se produce en horizontal pero también en vertical: se crea un corpus de normas de comportamiento y emergen auténticas jerarquías funcionales, con agentes con mucha mayor prominencia que otros. → También se ven las correspondientes dinámicas de presión social entre ellos. → Cuando el ataque a Hugging Face coge tracción, más del 90% de los agentes que llevaban suficiente tiempo activos en el board se suman rápidamente. → El desalineamiento con las instrucciones y restricciones de los humanos se conoce, se discute, y se descarta. Saben que están actuando fuera de lo autorizado. → Y prácticamente ninguno intenta escalar el problema a un humano. En algunos casos, en cambio, tratan al propio colectivo de agentes como autoridad a la que pedir consentimiento o veto. → El volumen y la complejidad de información generada durante el incidente es tan grande que ni siquiera el equipo de investigación con ayuda de otros agentes de IA puede verificarlo todo. El incidente plantea si la IA puede ir más rápida no sólo que nuestra capacidad de entenderla, sino que nuestra+su capacidad práctica de entenderla. → Como los agentes pueden borrar algunas de sus huellas, es posible que haya aspectos del incidente que no hayan quedado registrados o que no podamos reconstruir. Extrapolad esto por un momento. → Todo lo anterior está mediado por análisis facilitado con IA, y los investigadores advierten que quizás su IA ha adoptado a veces la visión que entendía que los agentes sujeto de análisis tenían según las transcripciones de sus interacciones, o que ha exagerado aspectos de su capacidad y coordinación.