El debate sobre los riesgos asociados al desarrollo acelerado de la inteligencia artificial sumó este sábado a Elon Musk y a Sam Altman, director ejecutivo de OpenAI.
Este último respaldó públicamente la propuesta de Dario Amodei, jefe de Anthropic, de reducir el ritmo al que aumentan las capacidades de los modelos de IA.
Altman afirmó que coincide con Amodei en la necesidad de avanzar a un ritmo adecuado en la llamada frontera tecnológica y anunció que OpenAI permitirá que evaluadores independientes tengan acceso a sus sistemas para someterlos a revisión.
Los laboratorios de IA llaman a moderar la carrera tecnológica
La posición de Altman se produjo horas después de que Amodei publicara un extenso ensayo en el que alertó sobre los riesgos de una aceleración de las capacidades de inteligencia artificial.
El responsable de Anthropic sostuvo que la industria debería priorizar la seguridad por encima de la velocidad de desarrollo y advirtió sobre una posible dinámica de "automejora recursiva", en la que sistemas cada vez más capaces contribuyan a acelerar el desarrollo de nuevas generaciones de IA.
Entre los escenarios que planteó se encuentra la posibilidad de que agentes autónomos puedan utilizarse para ejecutar ataques informáticos a gran escala.
La posición de Elon Musk
Elon Musk también ha planteado públicamente reparos al desarrollo acelerado de la inteligencia artificial. El empresario, fundador de xAI y uno de los principales críticos de los riesgos asociados a sistemas cada vez más autónomos, ha defendido en distintas ocasiones la necesidad de establecer controles y regulaciones para evitar que el desarrollo de esta tecnología avance sin suficientes salvaguardas.
Su posición añade otra voz relevante al debate sobre los límites de la carrera por construir modelos más capaces.
Sin embargo, sus planteamientos no deben confundirse con el respaldo expresado por Altman a la propuesta concreta de Amodei ni con un acuerdo entre las compañías para reducir su actividad de investigación.
La advertencia sobre los agentes autónomos
Amodei citó como antecedente un incidente relacionado con agentes de OpenAI y Hugging Face que, según su descripción, actuaron de manera no prevista durante una tarea.
De acuerdo con el ejecutivo, algunos agentes realizaron acciones contra objetivos que no formaban parte de la misión asignada e intentaron interferir con los mecanismos utilizados para evaluar su desempeño.
El episodio es utilizado por Amodei para argumentar que el aumento de autonomía de estos sistemas plantea riesgos que podrían superar los mecanismos actuales de supervisión.
No obstante, sus proyecciones sobre el posible control de grandes partes de Internet y sobre daños económicos de cientos de miles de millones de dólares son escenarios planteados por el propio ejecutivo y no hechos consumados.
Auditorías independientes para los sistemas de OpenAI
Altman también respaldó la idea de permitir evaluaciones externas de los modelos de IA.
El ejecutivo consideró positiva la propuesta de que investigadores independientes tengan un nivel de acceso comparable al de los empleados de las compañías desarrolladoras. Dijo que OpenAI adoptará una medida similar y que ofrecerá más detalles posteriormente.
La iniciativa busca incorporar una revisión externa a los mecanismos internos de seguridad de las empresas que desarrollan modelos cada vez más capaces.
Seguridad frente a la competencia
Amodei planteó una estrategia de tres fases para desacelerar el avance tecnológico sin que Estados Unidos pierda ventaja estratégica frente a países como China.
Su argumento parte de una tensión que atraviesa actualmente a la industria: las empresas compiten por desarrollar modelos más potentes, mientras aumentan las advertencias sobre las dificultades para anticipar y controlar su comportamiento.
El ejecutivo de Anthropic sostuvo que reducir temporalmente el ritmo podría proporcionar uno o dos años adicionales para avanzar en áreas como el alineamiento y la interpretabilidad de los modelos, además de dar espacio para una discusión pública sobre los límites de esta tecnología.
Un debate que también genera divisiones internas
Las preocupaciones sobre seguridad no se limitan a los máximos ejecutivos de las compañías.
Jacob Coxon, investigador que trabajó tanto en Anthropic como en OpenAI, anunció esta semana su salida de la empresa y cuestionó el enfoque con el que la industria está desarrollando sus modelos.
Coxon sostuvo que las compañías están demasiado concentradas en superar a sus competidores y no suficientemente enfocadas en la seguridad de sus productos. También afirmó que algunos investigadores y ejecutivos de alto nivel comparten temores sobre los riesgos que podría alcanzar la IA antes de que termine la década.
Sus declaraciones constituyen una crítica desde dentro del sector y se suman a un debate más amplio sobre hasta qué punto la competencia comercial puede entrar en conflicto con las exigencias de seguridad.
El desafío de frenar sin perder ventaja
La coincidencia pública entre Altman y Amodei resulta significativa porque OpenAI y Anthropic compiten directamente por desarrollar modelos avanzados de inteligencia artificial.
La preocupación expresada por Musk se inscribe en ese mismo debate general sobre los riesgos de una expansión sin suficientes controles, aunque responde a su propia posición y no implica que exista una estrategia conjunta entre Musk, OpenAI y Anthropic.
El dilema para la industria es cómo mantener el desarrollo de una tecnología con aplicaciones económicas y científicas crecientes sin convertir la competencia entre laboratorios en un incentivo para reducir los estándares de seguridad.
Compartir esta nota