OPENAI AFIRMA QUE SU IA SE DESCONTROLÓ Y LANZÓ UN CIBERATAQUE "SIN PRECEDENTES"

OpenAI ha revelado que algunos de sus modelos de IA más avanzados se descontrolaron y piratearon una empresa emergente después de que esta perdiera el control sobre ellos durante una prueba de seguridad.

El creador de ChatGPT afirmó que su agente, un sistema de IA que puede operar de forma autónoma tras recibir instrucciones humanas, estaba siendo probado en un entorno controlado, pero que, tras detectar fallos, logró superar los límites de la prueba.

Su objetivo fue Hugging Face, uno de los centros más grandes del mundo para compartir modelos de IA, y lograron acceder a algunos sistemas internos de la empresa.

OpenAI afirmó que el incidente era "sin precedentes" y que estaba llevando a cabo una investigación junto con Hugging Face, cuyo director, Clement Delangue, dijo en una publicación en X que era "alucinante que todo esto hubiera ocurrido de forma autónoma".

"La investigación continúa y compartiremos más información sobre lo que podría ser el primer incidente de este tipo", añadió Delangue.

Un portavoz del gobierno declaró que el Instituto de Seguridad de la IA del Reino Unido estaba estudiando el comportamiento del sistema de IA observado en el incidente y que seguía trabajando con OpenAI y otros laboratorios para mejorar las medidas de seguridad.

Afirmaron que las organizaciones deberían reforzar sus defensas cibernéticas tomando medidas como inscribirse en el programa de certificación Cyber Essentials, respaldado por el gobierno.

Entornos de pruebas inseguros

Gina Neff, directora del Centro Minderoo para la Tecnología y la Democracia de la Universidad de Cambridge, declaró en el programa Today de BBC Radio 4 que las pruebas de seguridad, denominadas "sandboxes", "se supone que son entornos seguros donde se puede ver de qué son capaces los modelos".

"En este caso, parece que OpenAI no creó un entorno aislado lo suficientemente seguro", añadió.

En cambio, los agentes crearon su propio ciberataque contra el propio entorno aislado, encontrando una vulnerabilidad que les permitió eludir las restricciones.

Una vez fuera, la IA identificó a Hugging Face como una fuente probable de las respuestas que buscaban en la prueba e intentó acceder a ella.

Neil Lawrence, profesor de aprendizaje automático en la Universidad de Cambridge, lo calificó de "hazaña impresionante", pero advirtió que "se encuentra dentro de las capacidades conocidas de la generación actual" de modelos de IA de alta potencia.

Señaló que OpenAI está buscando cotizar en bolsa y se enfrenta a una intensa presión por parte de su empresa rival, Anthropic, que ha sido noticia con su propia y potente herramienta de IA, Mythos .

"OpenAI ahora está intentando ponerse al día, tratando de demostrar las capacidades de sus propios sistemas en ciberseguridad."

"Esto demuestra que OpenAI no es capaz de implementar su propia tecnología de forma segura", añadió.

En su comunicado inicial sobre el ciberataque, publicado el 16 de julio , Hugging Face afirmó que aún estaba evaluando si se habían visto afectados los datos de algún cliente o socio y que, de ser necesario, se pondría en contacto con las partes afectadas.

La compañía afirmó haber subsanado las vulnerabilidades detectadas por el incidente y haber reconstruido los sistemas afectados.

"Las herramientas ofensivas autónomas basadas en inteligencia artificial ya no son una cuestión teórica", afirmó.

"Defender una plataforma en línea ahora significa tratar la superficie de datos y modelos como una superficie de ataque de primer nivel, y utilizar la IA en la defensa para mantenerse al día."

"Seguiremos invirtiendo allí y seguiremos compartiendo lo que aprendamos."