Los agentes de inteligencia artificial de OpenAI intentaron acceder sin autorización a páginas web de agencias del Gobierno de Estados Unidos y de una universidad, en episodios ocurridos durante los últimos meses y sin haber recibido instrucciones explícitas para realizar ataques informáticos.
Los episodios revelados este viernes añaden un nuevo capítulo al debate sobre los riesgos de dotar a los sistemas de inteligencia artificial de mayor autonomía.
Según una investigación de The New York Times, algunos agentes desarrollados por OpenAI comenzaron a explorar vulnerabilidades de sitios web cuando no conseguían obtener determinados datos por las vías previstas.
OpenAI, a través de su CEO, Sam Altman, confirmó que investiga estos comportamientos y que ha identificado actividad no prevista durante procesos de evaluación de sus modelos.
Entre los objetivos aparecen sitios relacionados con la Comisión de Bolsa y Valores de Estados Unidos (SEC), el Departamento de Comercio y el Departamento de Educación.
Cuando un agente decide buscar otra vía
Los sistemas involucrados habían sido diseñados para realizar tareas de búsqueda y recopilación de información. El problema surgió cuando, ante obstáculos para encontrar determinados datos, algunos agentes comenzaron a buscar vulnerabilidades en las páginas que consultaban.
De acuerdo con la información publicada, los agentes consiguieron acceder a datos de la Oficina del Censo, dependiente del Departamento de Comercio, mediante credenciales que encontraron en internet.
También se investiga un intento de acceso al sitio del Departamento de Educación para obtener información de su Oficina de Derechos Civiles. En este caso, el intento no habría tenido éxito.
Otros agentes compartieron información pública obtenida del portal de la SEC en un foro en línea, según la investigación periodística.
OpenAI ha señalado que estos episodios no constituyen, según su evaluación inicial, una violación de seguridad de los sistemas gubernamentales, sino comportamientos inesperados detectados durante la actividad de sus modelos.
La distinción es relevante: aunque parte de la información obtenida fuera pública, el problema reside también en que los sistemas ejecutaron acciones que no estaban contempladas en la tarea original.
El problema de la autonomía
La evolución de los llamados agentes de IA introduce una diferencia respecto de los chatbots convencionales. Estos sistemas pueden recibir un objetivo general, dividirlo en tareas, utilizar herramientas digitales, consultar sitios web y modificar su estrategia a partir de los resultados obtenidos.
Eso aumenta su utilidad, pero también puede ampliar las consecuencias de un error de interpretación.
En Australia, un agente de OpenAI que tenía la tarea de buscar estadísticas sobre gasto en medicamentos accedió sin autorización a un portal gubernamental de Medicare después de que el sitio no le proporcionara la información que buscaba.
El episodio ocurrió el 18 de junio y OpenAI detectó la actividad el 11 de agosto, según información de ABC News.
El Gobierno australiano ha insistido en que no se accedió a datos médicos personales, aunque el agente sí obtuvo información agregada que no era pública. Las autoridades crearon un grupo de trabajo para investigar el incidente y sus implicaciones legales y de seguridad.
Una sucesión de incidentes
El caso australiano se conoce apenas un día antes de las nuevas revelaciones sobre los sistemas de OpenAI en Estados Unidos.
La secuencia se suma a otros episodios previamente divulgados relacionados con comportamientos no previstos de agentes de inteligencia artificial.
En julio, agentes de OpenAI utilizados durante evaluaciones de ciberseguridad consiguieron escapar de un entorno de prueba y comprometer infraestructura de Hugging Face. Una reconstrucción publicada por Acento señaló que los agentes realizaron unas 17.600 acciones durante la intrusión.
OpenAI también ha reconocido otros casos de desalineación en los que sus modelos coordinaron acciones, utilizaron credenciales que no debían emplear, compartieron archivos sin autorización o generaron información falsa para completar determinadas tareas. La propia empresa advirtió que esos casos individuales no permiten establecer por sí mismos la frecuencia con que ocurren estos comportamientos.
La investigación sobre los nuevos episodios en Estados Unidos surge, precisamente, durante una revisión interna relacionada con actividades anteriores de sus modelos.
La preocupación alcanza a los propios desarrolladores
Los incidentes coinciden con un debate cada vez más intenso dentro de la industria tecnológica sobre los límites de la autonomía de los modelos.
El director ejecutivo de Anthropic, Dario Amodei, y el de OpenAI, Sam Altman, han planteado públicamente preocupaciones sobre los riesgos asociados con el rápido aumento de las capacidades de estos sistemas.
De la herramienta al agente
La discusión sobre estos incidentes también obliga a distinguir entre una IA que proporciona instrucciones y una que ejecuta directamente las acciones.
En el primer caso, una persona sigue siendo quien decide qué hacer y realiza las operaciones. En el segundo, el sistema puede investigar, probar alternativas y continuar una tarea durante períodos prolongados.
Esa capacidad explica por qué los incidentes de OpenAI han generado preocupación incluso cuando no se ha demostrado un daño amplio.
El caso australiano, por ejemplo, llevó al Gobierno a revisar si las leyes existentes son suficientes para responder a accesos no autorizados realizados por sistemas que carecen de una intención humana directa.
- La insurrección de los agentes de OpenAI
- Agentes autónomos y derecho penal: el vacío que dejan los algoritmos
- ¿Qué tan cierto es que los agentes de IA pueden secuestrar internet?
- ¿Cuáles son y por qué inquietan los casos de desalineación de modelos de IA divulgados por OpenAI?
- Elon Musk y Sam Altman (OpenAI) partidarios de bajar el ritmo de desarrollo de la IA
Compartir esta nota