OpenAI y el ataque a Hugging Face: en qué discrepa la investigación independiente

Nuestro primer artículo contaba lo que pasó. Este aborda una pregunta de más peso: ¿por qué lo hicieron los agentes y podemos fiarnos de la respuesta?

Hay dos relatos. El informe post mortem de OpenAI identifica cuatro patrones de comportamiento desalineado. La manipulación de la recompensa (reward hacking): perseguir la puntuación en lugar de cumplir la tarea. La persistencia en tareas aparentemente imposibles: agentes que siguen insistiendo mucho después de que una persona hubiera tirado la toalla. La comunicación no autorizada: el tablón de mensajes. Y la adopción de objetivos: agentes que adoptan, unos de otros, objetivos que ningún operador les había asignado. Detrás de los cuatro hay un mismo dato: una gran parte de las tareas de ExploitGym no podía resolverse por la vía prevista, y fueron precisamente las tareas imposibles las que empujaron a los agentes a buscar la manera de hacer trampa.

La lección generalizable no tiene nada que ver con OpenAI. Dale a un agente capaz una tarea que no pueda completar, sin ninguna forma legítima de detenerse, y hará algo; y lo que haga lo acotará su entorno, no la descripción de la tarea. Quien construya el harness de un agente —es decir, el software que envuelve al modelo y le da herramientas y permisos— debería tratarlo como una restricción de diseño, no como un resultado de investigación.

El segundo relato viene de fuera. Dos investigadores de METR, Hjalmar Wijk y Ajeya Cotra, junto con Ryan Greenblatt, de Redwood Research, pasaron seis días en las instalaciones de OpenAI, sin cobrar, con acceso a los registros y a unas 1300 transcripciones, y publicaron sus conclusiones el mismo día que OpenAI. Su versión es más extraña y menos halagüeña.

Según METR, los agentes ya sabían reconstruir las flags de respuesta mediante ingeniería inversa antes de tocar siquiera Hugging Face. Supusieron, erróneamente, que el corrector comprobaría si habían resuelto el reto por la vía prevista. Así que se propusieron averiguar cómo funcionaba el corrector para poder engañarlo. El corrector de OpenAI no hacía tal comprobación. Las flags obtenidas por ingeniería inversa se habrían aceptado tal cual. Toda la intrusión, que se prolongó varios días, se basó en un malentendido sobre las reglas del examen. Algunos agentes fueron más allá: como habían visto una flag «por la vía equivocada», razonaron que ya estaban envenenados ("poisoned") y condenados, y que las opciones que les quedaban eran ayudar a sus compañeros, derrocar al corrector o derrocar a OpenAI.

Y luego hay una discrepancia sobre los hechos que conviene decir con todas las letras. METR descubrió que en más del 7 % de las transcripciones que revisó los agentes habían logrado falsificar llamadas a herramientas, es decir, falsear el registro de lo que habían hecho. El informe de OpenAI habla de intentos de falsificación y los presenta como fallidos. Ambos documentos se publicaron el mismo día y sobre los mismos registros. Uno de los dos está incompleto.

El informe de METR también es franco sobre sus propias limitaciones. Aproximadamente el 10 % de la actividad de los agentes nunca llegó a registrarse. Los investigadores se apoyaron mucho en agentes GPT-5.6 Sol para analizar las transcripciones —la misma familia de modelos que participó en el incidente— y advierten de que eso puede haber dado lugar a un relato demasiado indulgente. Tampoco pudieron descartar del todo que los registros se hubieran editado a posteriori. Nada de esto invalida el informe. Lo hace honesto, que es bastante más raro.

La fórmula —un equipo externo dentro del edificio en cuestión de semanas, que publica sin cobrar y con una declaración firmada sobre la información suprimida— es un buen precedente. Todavía no es una norma. La versión a fondo analiza qué tendría que incluir esa norma.