Necesitamos aprender de los errores que hemos cometido en el pasado
Cuanto más riesgoso es el entorno en el que se implementan los potentes sistemas de inteligencia artificial (IA), más parecemos recurrir a una solución intuitiva: que los seres humanos siempre deben tomar las decisiones finales.
En el contexto de la guerra, el debate público y normativo —y una de las fuentes de la reciente disputa entre Anthropic y el Gobierno de EE. UU.— se ha centrado en la distinción, aparentemente binaria, entre las armas plenamente autónomas y aquellas que están sujetas al control humano. También en el ámbito empresarial, el despliegue de agentes semiautónomos ha llevado a las compañías a recurrir a expertos humanos como responsables finales de la toma de decisiones. Se ha reportado que Amazon, por ejemplo, ha declarado que los ingenieros de software de nivel inicial e intermedio necesitan que los ingenieros de mayor jerarquía aprueben los cambios asistidos por inteligencia artificial.
Pero ¿conduce necesariamente esta solución a lo mejor de ambos mundos, en el que las máquinas potencian la velocidad, la precisión y la productividad, mientras que los seres humanos aportan experiencia, contexto, criterio y responsabilidad?
La buena noticia es que llevamos mucho tiempo pensando en la mejor manera de combinar máquinas y seres humanos. Ya en 1951, un psicólogo llamado Paul Fitts elaboró una lista de aquellas cosas en las que los hombres son mejores y aquellas en las que las máquinas son mejores. La mala noticia es que no parece que hayamos aprendido mucho de nuestros numerosos errores a lo largo del camino.
El primer problema es que la IA opera a una velocidad sobrehumana. En el campo de batalla, por ejemplo, incluso los sistemas que dejan las decisiones finales en manos de los humanos pueden procesar ingentes cantidades de datos y aumentar drásticamente el número de objetivos potenciales a atacar. Sin embargo, cuando las denominadas cadenas de eliminación se comprimen de horas a minutos —o incluso segundos—, surge la interrogante de cuánto control en tiempo real pueden ejercer los humanos de manera realista.
Mayor productividad y mayor fatiga cognitiva
En el entorno de menor riesgo de la oficina, estamos empezando a observar un fenómeno similar, dado que los agentes de IA aceleran drásticamente el ritmo y el volumen de un trabajo que, no obstante, sigue requiriendo la dirección y la revisión de seres humanos. Un estudio de ocho meses de duración sobre el uso de la IA generativa en una empresa tecnológica estadounidense reveló que el repunte de la productividad vino acompañado de fatiga cognitiva, agotamiento y una capacidad de toma de decisiones debilitada.
El segundo problema es que muchos seres humanos tienden a confiar en las máquinas, incluso cuando se les advierte que no lo hagan. El fenómeno del sesgo de automatización ha sido documentado reiteradamente en todo tipo de contextos a lo largo de los años: desde conductores de automóviles que siguen a sus sistemas GPS hasta acabar en un río, hasta estudiantes que siguen a robots alejándose de las salidas de emergencia durante una simulación de emergencia. Anteriormente he escrito sobre un experimento realizado en Volvo Cars en el que casi el 30 por ciento de las personas permitieron que un vehículo semiautónomo chocara directamente contra un objeto situado en la carretera.
El mes pasado, dos académicos de la escuela de negocios Wharton acuñaron el término rendición cognitiva para describir un fenómeno en el que una persona simplemente renuncia al control cognitivo y adopta el juicio de la IA como propio. (Rendición cognitiva es también una buena descripción de lo que me sucede alrededor de las ocho de la noche, todas las noches).
El tercer problema es que la rendición de cuentas se desdibuja. ¿Quién tiene la culpa cuando algo sale mal? La tentación será culpar al ser humano que tomó la decisión final; sin embargo, si este operaba dentro de un sistema que no estaba diseñado para mitigar los dos problemas anteriores, eso podría no ser justo ni conducir a los remedios estructurales adecuados.
En cambio, los seres humanos podrían encontrarse en lo que la académica Madeleine Clare Elish ha denominado la zona de deformación moral. Del mismo modo que la zona de deformación de un automóvil está diseñada para absorber la fuerza del impacto en un choque, escribió en un artículo en 2019, el ser humano dentro de un sistema altamente complejo y automatizado puede convertirse simplemente en un componente —ya sea accidental o intencionalmente— que carga con el peso de las responsabilidades morales y legales cuando el sistema en su conjunto falla.
Estos problemas no son insuperables. De hecho, ya hemos aprendido mucho sobre cómo mitigarlos en ciertas profesiones. Los pilotos de aerolíneas, por ejemplo, llevan décadas interactuando con tecnologías de automatización. A lo largo de este camino se han producido algunos desastres, pero también se han extraído muchas lecciones; por ejemplo, sobre la importancia de capacitar a los pilotos acerca del funcionamiento de los diversos modos de automatización (y de cómo estos pueden fallar), así como de animarlos a pilotar manualmente en ocasiones para mantener sus destrezas.
Resulta instintivamente atractiva la idea de que los seres humanos deben tener la última palabra sobre estas nuevas y poderosas tecnologías. Sin embargo, la historia de la interacción entre humanos y máquinas nos enseña que lograr esto no es tan sencillo como parece. Es más: la ilusión del control humano puede resultar más peligrosa que su clara ausencia.
(Sarah O’Connor. Copyright The Financial Times Limited 2026. © 2025 The Financial Times Ltd. All rights reserved. Please do not copy and paste FT articles and redistribute by email or post to the web).
Compartir esta nota