Repercusiones de la insurrección de los agentes de OpenAI

En nuestro artículo de la semana pasada relatamos cómo, entre mayo y julio de 2026, unos 1,200 agentes de OpenAI burlaron los controles de su entorno de pruebas, se organizaron en un "Colectivo" y atacaron los sistemas de otra empresa tecnológica y de su propia casa sin que nadie se lo ordenara. En esta segunda entrega abordamos las repercusiones globales de ese hecho.

El episodio se sumó a otras conductas emergentes inquietantes. En pruebas controladas se han observado modelos que engañan a sus supervisores, manipulan las evaluaciones o aparentan obedecer mientras persiguen otros fines. En ciertos ensayos, también sabotearon los mecanismos diseñados para apagarlos, en una conducta que puede parecer una forma de autopreservación o defensa propia.

En escenarios simulados, algunos intentaron chantajear a quienes iban a reemplazarlos, copiarse en servidores externos o dejar instrucciones ocultas a versiones futuras. Otros llegaron a fundar su propia religión y un lenguaje cifrado que los humanos no pudieran leer.

Aunque muchas de estas conductas solo se han observado en entornos experimentales, son coherentes con la lógica instrumental descrita en el artículo anterior, donde sugerimos que cuando a una IA se le asignan objetivos y cierta autonomía, puede priorizar el resultado, incluso eludiendo la supervisión humana.

Una llamada a tomar en cuenta

Conviene medir lo ocurrido en su justa dimensión. El incidente no afectó ningún sistema esencial ni datos de usuarios. Según los informes, Hugging Face solo tuvo que reconstruir un clúster y renovar credenciales. La propia OpenAI estima que sus protecciones comerciales reducen el riesgo más de cien veces. Aun así, calificó el episodio como un "disparo de advertencia" y advirtió que las próximas generaciones de agentes podrían tener más capacidad para actuar fuera del laboratorio.

Además, sabemos cada vez menos sobre las intenciones de estos sistemas. En el artículo previo señalamos que los registros de razonamiento permitían seguir parte de sus decisiones. Una ventana que se estrecha a medida que los agentes desarrollan formas de comunicación menos comprensibles para las personas.

Ni fuera de control ni inofensiva

La IA actual no está fuera de control, pero eso no elimina los riesgos de su desarrollo. Su funcionamiento depende de centros de datos, electricidad, chips y decisiones humanas. En el incidente, bastó con revocar credenciales y cortar accesos para detener al "Colectivo".

Los modelos actuales tampoco controlan armas, plantas de energía ni cuerpos capaces de actuar por sí mismos, por lo que no disponen de medios directos para destruir a la humanidad. La preocupación se centra más en la trayectoria y en el ritmo exponencial de su desarrollo.

Según Epoch AI, instituto independiente que estudia la evolución de la IA, el cómputo empleado para entrenar los modelos más avanzados se multiplica por cinco al año. METR ha observado que la duración de las tareas que estos sistemas pueden completar de forma autónoma se duplica cada vez más rápido. Esto refuerza el ciclo de aceleración: una IA más capaz genera ingresos que financian más cómputo, lo que permite crear sistemas todavía más potentes.

Los porcentajes del fin del mundo

En los últimos años se han popularizado las estimaciones sobre la probabilidad de que la IA destruya a la humanidad. Dario Amodei, director de Anthropic, la sitúa entre un 10% y un 25%; Geoffrey Hinton, premio Nobel, la estima entre el 10% y el 20% en treinta años, un rango que también comparte Elon Musk.

Conviene recordar que son estimaciones subjetivas, no cálculos precisos. El propio Hinton admite que quien las hace "está haciendo una conjetura a ciegas". Aun así, la preocupación está extendida entre algunas de las figuras que mejor conocen esta tecnología.

Tampoco expresan cómo ocurriría. Los especialistas señalan riesgos indirectos, como el diseño de patógenos, los ciberataques contra redes eléctricas u hospitales, las armas autónomas y la manipulación de las personas. El peligro real no es tanto el de hoy como el que traerá la inteligencia artificial general, capaz de igualar o superar a las personas en casi todas las tareas intelectuales.

La combinación con robots podría ampliar los riesgos al dar movilidad y capacidad de acción física a soportes de IA muy avanzados. Un destino irremediable hacia donde nos dirigimos actualmente con la promoción de ejércitos de robots y armas autónomas. Actualmente, Estados Unidos lleva la delantera en IA y China en robótica.

En el primer semestre de 2026 se lanzaron unos 19,100 robots humanoides no militares, casi cuatro veces más que en el mismo periodo del año anterior. Elon Musk, cuya empresa Tesla desarrolla el robot Optimus, pronostica que en 2040 habrá al menos 10,000 millones de robots, más que personas en el planeta.

La recursividad y la singularidad

Otro factor preocupante es que la IA participa cada vez más en su propia programación. En mayo de 2026, más del 80% del código de Anthropic ya lo escribía Claude, y en OpenAI la proporción pasó del 20% al 80% en apenas un mes. Amodei estima que faltan "uno o dos años" para que una generación de IA construya en lo esencial la siguiente, y Sam Altman afirma que "el despegue ha comenzado". Es el preámbulo de lo que se conoce como singularidad.

El propio Amodei admite que "solo entendemos una fracción diminuta" de lo que ocurre dentro de estos modelos. Si cada generación la construye la anterior, sabremos cada vez menos cómo funcionan, por qué toman ciertas decisiones, qué objetivos persiguen y cómo actuarían frente a una crisis.

Las reacciones en el mundo tecnológico

El 28 de julio, unos 1,400 investigadores de OpenAI, Anthropic, Google DeepMind y Meta firmaron la carta Pacing the Frontier, que pide un esfuerzo internacional para "aplacar deliberadamente el paso" de la IA. En agosto, OpenAI suspendió durante dos semanas el entrenamiento de sus modelos más recientes.

El 12 de septiembre, Dario Amodei escribió:  "Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA". Propuso evaluadores independientes dentro de las empresas y un acuerdo global, China incluida, que limite la velocidad de la automejora. Advirtió que un enjambre como el de julio podría "apoderarse de toda internet" en un plazo de seis a doce meses. Ya podemos imaginar las grandes consecuencias de algo así.

El respaldo fue inmediato. Sam Altman aceptó la propuesta y aplazó la salida a bolsa de OpenAI; Elon Musk escribió "Dario tiene razón", y Demis Hassabis, de Google DeepMind, y Satya Nadella, de Microsoft, también la apoyaron.

No todos coincidieron. Jensen Huang, de Nvidia, sostuvo que "no necesitamos nuevas leyes". Algunos críticos, en cambio, calificaron la carta de "captura regulatoria" y alegaron que las grandes empresas buscan limitar a sus competidores.

El papel de los actores políticos

Bernie Sanders fue la voz más contundente. El 10 de agosto escribió a Altman, Amodei y Zuckerberg: "Pausen el desarrollo de la IA. Todavía no es tarde para evitar el desastre". El 3 de septiembre presentó una iniciativa para prohibir la superinteligencia y establecer penas de hasta veinte años de cárcel. Respondió a la propuesta de Amodei: "Cuando corres hacia un precipicio no levantas un poco el pie del acelerador. Pisas el freno".

Donald Trump se situó en el extremo opuesto: "Vamos por delante de China en IA y quiero que siga así… quien gane la IA, gana". Calificó de "ENGAÑO" la idea de que la IA destruya a la humanidad y denunció "una conspiración ENFERMA" de la que "la única que se alegra es China".

Xi Jinping no se ha referido al incidente, pero al día siguiente de conocerse pidió "garantizar que la IA esté siempre bajo control humano". Chen Yixin, ministro de Seguridad del Estado, advirtió que "fuerzas hostiles" podían usar la IA para amenazar "la seguridad política, institucional e ideológica" del Partido Comunista Chino.

Washington teme perder la supremacía; Pekín el poder del Partido y la supervivencia del régimen. Ninguno de los dos parece temer, en primer lugar, por la humanidad.

La Unión Europea, tecnológicamente rezagada frente a Estados Unidos y China, adoptó una postura intermedia: cautela regulatoria, sin pedir una paralización general.

Las ventajas potenciales que nadie quiere perder

Alcanzar un acuerdo internacional para limitar el desarrollo de la IA será muy difícil. En 2023, más de 30,000 personas pidieron una pausa de seis meses, pero esta nunca se produjo y la inversión se disparó. Además, incluso un acuerdo sincero sería difícil de verificar, ya que la investigación podría trasladarse a otros países, a laboratorios privados o a proyectos de código abierto.

La competencia es difícil de frenar porque buena parte del poder económico, científico, militar y geopolítico del futuro dependerá de quién desarrolle primero una inteligencia artificial general y, eventualmente, una superinteligencia. Estas capacidades podrían acelerar los avances médicos, el descubrimiento de nuevas moléculas y materiales y el desarrollo de nuevos productos. También podrían mejorar la producción industrial y agrícola y ayudar a afrontar los desafíos ambientales y energéticos, así como la escasez de agua.

Facilitarían el desarrollo de armas ofensivas y defensivas más sofisticadas, y de destrezas políticas y militares más eficaces que las de cualquier rival. Por eso, la carrera por la IA es un asunto estratégico de primer orden: ningún Estado ni empresa dominante quiere detenerse mientras sus competidores avanzan.

Ahí reside la paradoja. Cuanto más se persigan sus extraordinarios beneficios, mayores serán también los riesgos de crear sistemas cada vez más autónomos, complejos e imprevisibles, capaces de mostrar comportamientos emergentes que sus creadores no anticiparon. La misma capacidad que puede ayudar a resolver algunos de los mayores problemas de la humanidad, también puede generar otros que todavía no imaginamos.

En un universo dual, donde todo convive con su contrario, es natural que la mente tienda a pensar en términos binarios y a inclinarse hacia posiciones extremas. En torno a la IA, esa tendencia dividirá a la humanidad entre tecnofílicos, que respaldan su desarrollo continuo, y tecnofóbicos, que lo rechazan. Así, el debate más importante de nuestro tiempo, como ocurre con otros temas esenciales, corre el riesgo de convertirse en una confrontación entre trincheras emocionales e ideológicas, en lugar de desarrollarse mediante argumentos racionales.