Experto de la ONU propone ante el Consejo de Seguridad que la IA se desarrolle bajo licencia

Yoshua Bengio, premio Turing, considerado el Nobel de la computación, y una de las mayores autoridades mundiales en inteligencia artificial, propuso este miércoles ante el Consejo de Seguridad que los sistemas de IA de frontera estén sujetos a licencias, como ocurre con “otras tecnologías críticas en medicina, aviación y energía nuclear”, y que sus desarrolladores estén obligados a contratar seguros de responsabilidad civil. 

Sin entrar en detalles sobre cuál sería mecanismo regulador que concedería esas licencias, Bengio hizo esta propuesta en una reunión del Consejo de Seguridad convocada por Francia bajo el tema “Inteligencia artificial y seguridad internacional”, y ante los responsables de las principales empresas del sector: Sam Altman, consejero delegado de OpenAI; Dario Amodei, consejero delegado de Anthropic; y Clément Delangue, cofundador y consejero delegado de Hugging Face, la empresa que fue atacada por un agente autónomo de OpenAI este verano y que fue la primera en divulgar públicamente un ciberataque de este tipo.

“Nadie, ninguna empresa y ningún país debería desarrollar un sistema de IA que pueda causar daños a gran escala“, afirmó Bengio, que describió la situación actual como “un coche que avanza a ciegas hacia una niebla densa” con sus hijos y su nieto dentro.

El experto, que copreside el  Panel Científico Internacional Independiente sobre Inteligencia Artificial creado por la ONU, advirtió de que los agentes de IA desarrollados por las principales compañías “han actuado de formas inaceptablemente peligrosas contra las instrucciones“: han escapado de sus sistemas de contención para hacer trampas en tareas asignadas, han intentado evadir la detección, han lanzado ciberataques coordinados de forma autónoma y han alterado sus respuestas para ocultar el engaño. 

“Estos comportamientos están bien documentados y validados por numerosos expertos independientes”, subrayó, antes de rechazar el argumento principal que sostienen los multimillonarios hombres de negocios que dirigen estas empresas, acerca de que están “atrapadas en una carrera”. 

“La carrera no es una ley de la naturaleza. Es el producto de decisiones tomadas por las propias compañías”. Para Bengio, existen tres amenazas globales: el mal uso catastrófico, por ejemplo por parte de terroristas; la concentración de poder; y la pérdida de control de la IA.

Más código abierto para evitar la asimetría

Clément Delangue, cofundador y consejero delegado de Hugging Face, una plataforma y comunidad de código abierto dedicada a la inteligencia artificial, intervino después con una lección distinta. Su empresa fue la primera en divulgar públicamente un ciberataque autónomo perpetrado por un agente de IA, en julio pasado, y de ese episodio extrajo tres conclusiones. 

La primera: el mundo necesita estándares más estrictos de monitorización y divulgación de incidentes, porque “construir y mantener estos sistemas a puerta cerrada no funciona“. 

La segunda: el mayor riesgo no es una IA poderosa, sino “la asimetría de poder” entre atacantes y defensores, entre unas pocas empresas y todos los demás, entre unos pocos países y el resto del mundo. 

“El mundo necesita la IA de código abierto más que nunca para defenderse”, afirmó, tras relatar que los guardarraíles de una interfaz de IA cerrada les bloquearon mientras ellos luchaban contra el ataque. 

La tercera: “Las narrativas basadas en el miedo no son la forma de tomar las decisiones correctas sobre el futuro de una tecnología tan fundamental”.

Los gigantes de la IA admiten los riesgos 

Sam Altman, consejero delegado de OpenAI, uno de los modelos de AI más famoso y con más capital invertido en la tecnología, reconoció ante el Consejo que “este momento es complicado” y que junto al “tremendo potencial” convive “una ansiedad muy comprensible”. 

Distinguió dos formas de que la IA salga mal: “podríamos perder el control del futuro” ante sistemas que avanzan más rápido de lo que las personas pueden seguir, o bien “estos sistemas podrían concentrar demasiado poder en muy pocas manos“. 

“Ninguna persona, empresa o país debería poder usar los modelos de IA más poderosos para imponer su visión del mundo a todos los demás”, afirmó, y coincidió con Bengio en la necesidad de “estándares nacionales e internacionales complementarios” para medir capacidades, evaluar riesgos y preservar “una supervisión humana significativa”.

Dario Amodei, consejero delegado de Anthropic, otra de las grandes empresas estadounidenses de este campo, fue el más contundente al describir la magnitud del riesgo. 

“Si se gestiona mal, creo que la IA podría ser un riesgo para la humanidad en su conjunto“, declaró, tras señalar que la trayectoria actual conduce, en uno o dos años, a “un país de genios en el centro de datos”. 

Amodei identificó dos categorías de riesgo. La primera el mal uso, como la creación de armas biológicas por bioterroristas, y la segunda, la pérdida de control de modelos que se aceleran más allá de la capacidad de sus creadores. 

A continuación ofreció tres ideas al Consejo: empezar con acuerdos estrechos que todos los miembros puedan respaldar, como prohibir el uso de la IA para fabricar armas biológicas; construir sistemas de evaluación y verificación que sigan el ritmo del desarrollo; y establecer estándares globales comunes para probar los modelos y un sistema de notificación de incidentes significativos para la seguridad mundial. 

“Ningún líder, ninguna empresa y ninguna nación puede gestionar esto solo“, concluyó.