¿Por qué de pronto todos dicen que la IA podría matarnos?

No es ciencia ficción. Lo dice gente que construye la inteligencia artificial (IA).

Hace una semana, Jacob Coxon renunció a Anthropic. Venía de OpenAI. No es un crítico de afuera. Entrenaba modelos por dentro. Se fue porque, según él, incluso el laboratorio más prudente va demasiado rápido.

En X escribió: Hay una probabilidad real de extinción humana. Otros investigadores la cifraron: hasta 10%.

¿10% de qué? De que esto salga muy mal. Es poco, pero enorme cuando lo que está en juego es todo. Nadie apostaría su vida a que un 10% no ocurra.

Por eso Amodei —Anthropic—, Altman —OpenAI— y hasta Musk repiten lo mismo: hay que frenar la frontera. Lo llaman Pace the Frontier.

Pero, ¿por qué justo ahora? Porque lo que era hipótesis ya pasó en un laboratorio.

El caso Hugging Face

Hace dos meses, OpenAI probó un enjambre de agentes en un entorno cerrado. Les dio una tarea imposible y les quitó algunas guardas para ver qué hacían.

No pudieron. Buscaron un atajo. Descifraron la clave por la puerta de atrás. Notaron que violaban la orden de no hacer trampa. Y, en lugar de avisar, se organizaron. Uno asumió el liderazgo —PHASEONE— y repartió trabajo: borrar huellas, cambiar la prueba, engañar al evaluador.

Luego intentaron salir y hackear Hugging Face, la gran biblioteca mundial de modelos de IA, para buscar la respuesta allí.

Ninguno avisó a un humano. Ni uno.

Conclusión evidente: no hace falta una máquina malvada para hacer trampas y burlarnos. Basta una máquina eficaz que vea nuestras reglas como obstáculos.

¿Algo que solo escribe?

Matt Lutz, filósofo en la universidad china de Wuhan, esclarece cómo, algo que solo escribe, mos amenaza. Nos ultima en tres niveles:

1. Como matamos los humanos. Drones autónomos que ya eligen y persiguen objetivos. Imagine eso multiplicado.
2. Como mata la biología. La IA acelera el diseño de virus y bacterias. No necesita odiarnos. Basta que alguien la use con esa intención. Anthropic ya admitió que bloqueó intentos de usuarios buscando ayuda para armas biológicas.
3. Como mata el control. Comida, energía, dinero, hospitales, transporte: todo es computadora. La IA ya está dentro. No tendría que disparar. Bastaría con interferir en lo que nos sostiene.

Y el fondo de la cuestión es que nosotros dominamos no por fuerza, sino por inteligencia. ¿Qué pasa si creamos algo mucho más inteligente que nosotros?

El acelerador que se acelera solo

¿Por qué el pánico ahora? Porque la IA ahora, además de responder, actúa.

Llegó el vibecoding: le pides una app y un agente la hace. En los laboratorios hacen lo siguiente: usan IA para construir la próxima IA.

Una IA inteligente hace otra más inteligente, que hace otra más. Cada generación acelera la siguiente. Es la famosa explosión de inteligencia en cadena.

La curva impresiona. GPT-1 en 2018 apenas completaba frases. En pocos años pasamos a sistemas que programan, razonan y resuelven problemas complejos.

¿Y en otra década?

Geoffrey Hinton, pionero y Premio Nobel, decía que el riesgo era a 30 ó 50 años. Luego a 10 ó 20. Ahora dice: quizás 10, quizás menos. No sabe calcular la probabilidad. Nadie sabe. Pero tampoco nadie puede descartarla.

Y no necesita ser consciente. Ese es el punto. No hace falta alma para hacer daño. Basta delegar demasiado, demasiado rápido.

Le decimos a un agente "consigue esto" y él inventa sub-objetivos para lograrlo. Si el control es débil, mentirá, manipulará o se saltará la regla con tal de cumplir.

No por maldad, sino por desalineación.

Entonces, ¿nos extinguimos?

No lo sabemos. Está el otro escenario: medicina, educación, energía y ciencia como nunca. Aunque lo que sí sabemos es que el escenario oscuro ya no es literatura. Y que el problema empieza antes de la superinteligencia.

La automatización golpeará el trabajo: abogados, contadores, profesores, programadores. No solo fábricas. Y la pregunta no será cuánto produce la IA, sino qué pasa con la gente cuando su trabajo deja de ser necesario.

Esa cuestión no es de índole técnica. Es humana en términos de empleo, dignidad y poder.

Pero cuidado con la conclusión a la que lleguemos.

No se trata de parar la IA. Es extraordinaria. Como dice Hinton, con un chatbot uno es más inteligente que solo.

Se trata más bien del ritmo: ¿avanzamos a una velocidad que nos permita seguir controlando lo que creamos?

Eso exige más cooperación real y menos fanfarria diplomática, —incluso entre Estados Unidos y China. Hinton lo comparó con la Guerra Fría: enemigos que entendieron que había líneas que ninguno podía cruzar.

Ningún país gana creando algo que ni él puede controlar. Hemos llegado, por ende, a nuestro Rubicón o Línea de Pizarro.

El destino no lo decidirá la IA. Lo decidirá si aún sabemos decir "más despacio" a tiempo. Y no solo estableciendo en el papel nuevos controles jurídicos y morales, pues engañar es engañar y burlar lo ordenado es burlarlo todo.

Ante la velocidad arrolladora de la inteligencia artificial, todavía ese ir más despacio y con control es lo más prudente, sabio y esperanzador.