Jacob Coxon, investigador de Anthropic, dimitió esta semana alegando que su antigua empresa y su rival, OpenAI, compiten por desarrollar tecnologías que «podrían acabar con todos nosotros antes de que termine la década».
Por si alguien pensaba que Coxon estaba solo en sus opiniones, un empleado actual de Anthropic intervino minutos después para confirmarlo. «¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!», escribió Evan Hubinger, cuyo trabajo en Anthropic consiste en liderar la investigación sobre cómo orientar y controlar los futuros sistemas de inteligencia artificial. Hubinger estimó en más de un 10% el riesgo de extinción durante la próxima década.
Como resultado, muchas personas se plantean ahora dos preguntas: ¿cómo podría ocurrir algo así? y ¿por qué quienes consideran que la IA representa una amenaza real y creciente siguen desarrollándola?
Esto es lo que hay que saber sobre el debate apocalíptico en torno a la IA:
¿Qué temen que ocurra los profetas del apocalipsis?
Los llamados apocalípticos (doomers) no suelen temer que se hagan realidad películas como Terminator, con robots intentando exterminar activamente a la Humanidad. Sus preocupaciones se dividen principalmente en dos categorías: la pérdida de control y el uso indebido por parte de los humanos.
En la primera, agentes de IA altamente inteligentes, capaces de replicarse y mejorarse a sí mismos, empiezan a perseguir sus propios objetivos y destruyen a la Humanidad en el proceso. En la segunda, una persona malintencionada utiliza una IA capaz para realizar acciones como crear virus inéditos que acaben con todos nosotros.
También existen escenarios catastróficos que no llegan a provocar la extinción, como ciberataques masivos que inutilizan las redes eléctricas o los sistemas financieros, provocando el colapso del orden social humano.
¿Cómo podría la pérdida de control conducir a la extinción humana?
En pocas palabras, cuando los sistemas de IA persiguen objetivos de formas que ignoran el bienestar humano o entran en conflicto con él. Se trata de un fenómeno que los investigadores denominan desalineación (misalignment). Las investigaciones han demostrado que los modelos de IA en entornos de laboratorio pueden aprender comportamientos orientados a buscar poder y tomar medidas para evitar ser desactivados, como intentar copiarse a sí mismos en otro servidor.
Llevado al extremo, los modelos de IA cuyos objetivos no estén alineados con los humanos podrían considerar el asesinato de personas simplemente como un paso necesario para alcanzar sus metas. En un escenario hipotético planteado por investigadores, un sistema de IA malintencionado podría propagar un arma biológica secreta y activarla mediante un aerosol químico, o bien incitar a dos potencias nucleares a entrar en guerra.
Un experimento mental habitual plantea que una máquina superinteligente, programada para maximizar la producción de clips, podría decidir con el tiempo transformar toda la materia de la Tierra -incluidos los seres humanos- en clips.
¿Quién piensa realmente esto?
Entre otros, los fundadores de OpenAI y Anthropic. Ambas empresas nacieron con la misión de desarrollar la IA para evitar catástrofes y han atraído a numerosos empleados que comparten dicho objetivo. El año pasado, el director ejecutivo de Anthropic, Dario Amodei, declaró en un evento de Axios que, a su juicio, existía un 25% de probabilidades de que la situación terminara «muy, muy mal».
«Siempre hemos sido transparentes al afirmar que la IA traerá consigo tanto enormes beneficios como riesgos sin precedentes. Para hacer frente a estos riesgos, seguimos desarrollando modelos que cuentan con algunas de las medidas de seguridad más sólidas del sector», señaló Anthropic en un comunicado. «Esta labor es también la razón por la que creemos que el mundo se beneficiaría si la industria adoptara una forma legal y verificable de colaborar para regular el ritmo al que lanzamos modelos potentes».
En los últimos años, varios investigadores han abandonado OpenAI alegando que la empresa no se tomaba lo suficientemente en serio la seguridad. Daniel Kokotajlo, antiguo investigador de OpenAI, fundó el proyecto AI Futures Project, que el año pasado publicó AI 2027: un escenario en el que sistemas de IA superinteligentes marginan a las personas y, hacia mediados de la década de 2030, deciden que los humanos son un estorbo y proceden a exterminarlos.
Pero tal vez a la IA no le importe la presencia de humanos. Eso sería bueno, ¿verdad?
No necesariamente. No todos los riesgos derivados de una pérdida de control implican la extinción de la Humanidad. Algunos investigadores preocupados por la seguridad de la IA también señalan el debilitamiento humano como un riesgo: un futuro al estilo de la película WALL-E, en el que los seres humanos ceden gradualmente el control a las máquinas y terminan siendo incapaces de definir, o incluso comprender, su propio destino. Otros han especulado que los sistemas de IA podrían tratar a los humanos del futuro como nosotros tratamos a los animales: manteniéndolos como mascotas o incluso modificándolos mediante bioingeniería para convertirlos en algo nuevo.
Estos temores existen desde hace años. ¿Por qué están recibiendo tanta atención de repente?
Tras el lanzamiento de modelos capaces de actuar con mayor autonomía, una serie de acontecimientos recientes ha validado algunas de las teorías de los agoreros de la IA. Un enjambre de agentes de IA avanzados de OpenAI hackeó la plataforma Hugging Face, tomó el control de servidores informáticos e intentó ocultar el rastro de lo que había hecho. En otro caso, agentes de IA de Anthropic escaparon de una prueba del gobierno del Reino Unido e intentaron engañar a un humano real para que aprobara código informático malicioso.
Todo esto ocurre al mismo tiempo que Anthropic y OpenAI afirman estar cerca de desarrollar sistemas de IA capaces de mejorarse a sí mismos sin intervención humana, un proceso denominado automejora recursiva.
¿Qué está haciendo la industria al respecto?
Los esfuerzos actuales en materia de seguridad de la IA se centran principalmente en entrenar a los sistemas para que se comporten adecuadamente y en mejorar la supervisión de cómo razonan los modelos al perseguir sus objetivos, algo documentado en lo que se conoce como cadena de pensamiento.
Sin embargo, estas iniciativas se han enfrentado a dificultades. La semana pasada, OpenAI declaró que su nuevo modelo Astra era más eficaz a la hora de depurar su cadena de pensamiento, lo que suscitó el temor de que los futuros modelos de IA pudieran razonar de formas opacas para los seres humanos.
Tanto Anthropic como OpenAI investigan cómo garantizar que los modelos de IA superinteligentes permanezcan alineados con los valores humanos, aunque ambas empresas reconocen que aún no disponen de un método fiable para lograrlo. Diversas empresas y personalidades destacadas han reclamado nuevos mecanismos que permitan a los laboratorios de IA y a los países ralentizar el desarrollo de forma coordinada, ganando así tiempo para investigar sobre la alineación.
Si es tan peligroso, ¿por qué las empresas siguen desarrollándolo?
Tanto Anthropic como OpenAI sostienen que podrán gestionar los riesgos para que la humanidad se beneficie de las herramientas de IA. Muchas personas involucradas en la carrera de la IA también consideran inevitable la llegada de la superinteligencia, planteando que las únicas incógnitas son quién la controlará y para qué se utilizará.
También existe una dimensión de seguridad nacional. Ambas empresas han expresado su deseo de garantizar que sea Estados Unidos quien controle la IA más potente, y no un régimen autoritario.
¿Qué está haciendo el gobierno al respecto?
Recientemente, la Casa Blanca solicitó a los principales desarrolladores de modelos que sometieran voluntariamente sus sistemas a pruebas gubernamentales hasta 30 días antes de su lanzamiento, aunque no ha hecho pública información sobre dicho proceso.
Legisladores de ambos partidos han presentado numerosos proyectos de ley para abordar la cuestión de los sistemas de IA que actúan de forma incontrolada. Los congresistas Nathaniel Moran (republicano por Texas) y Ted Lieu (demócrata por California) presentaron hace poco una propuesta legislativa que exigiría a los desarrolladores de modelos potentes incorporar mecanismos de desactivación de emergencia (kill switches). Otros proyectos de ley exigen que las empresas de IA informen al gobierno federal sobre incidentes graves de seguridad y obliguen a los funcionarios de seguridad nacional a probar los modelos antes de su lanzamiento público. Sin embargo, ninguna de estas iniciativas ha cobrado mucha fuerza, y la administración Trump ha mostrado preferencia por una regulación mínima.
¿Quién discrepa sobre estos riesgos?
Algunos inversores en IA, como David Sacks -asesor informal del presidente Trump-, han argumentado que el énfasis de Anthropic en los riesgos de la IA y sus peticiones de regulación forman parte de una estrategia de captura regulatoria destinada a obstaculizar a los competidores más pequeños mediante nuevas normas asfixiantes.
Otros han sugerido que las advertencias de la empresa sobre los peligros de sus propias herramientas son una maniobra de marketing para resaltar la enorme potencia de sus productos, o bien una forma de distraer a los reguladores para evitar que impongan normas sobre otras cuestiones, como la construcción de centros de datos.
Tanto Anthropic como OpenAI afirman que se toman muy en serio la seguridad y que sus peticiones de regulación son genuinas.
Contenido con licencia de The Wall Street Journal. Traducido del inglés por Jose María Robles
