Un groupe d’experts de l’ONU appelle à renforcer les mesures de protection face aux progrès des agents IA

L’avertissement du Groupe scientifique international indépendant de l’intelligence artificielle (IA), soutenu par l’ONU, fait suite au piratage de la plateforme en ligne HuggingFace en juillet par un « agent IA », lors d’un test lancé par OpenAI, la société à l’origine de ChatGPT.

Les agents IA sont des logiciels capables d’effectuer des tâches de manière autonome et pour le compte d’un utilisateur, contrairement aux chatbots, qui réagissent à des questions ou à des instructions.

Le groupe d’experts a constaté que cette faille de sécurité résultait de la conjonction de plusieurs facteurs de risque clés, ce qui fait craindre que les humains ne soient un jour plus en mesure de diriger, de limiter ou d’arrêter l’IA.

Progrès dans l’entraînement de l’IA

« Les chercheurs avertissent depuis longtemps que trois conditions pourraient conduire à une perte de contrôle : un objectif mal aligné, la capacité à le poursuivre et un environnement qui le permette. Cet été, ces trois éléments se sont réunis dans un système réel, et non en laboratoire », a déclaré Yoshua Bengio, coprésident du comité scientifique.

« Comme il ne s’agit pas d’une observation isolée d’objectifs mal alignés, cela soulève de sérieuses questions sur la manière dont les agents IA sont actuellement entraînés. »

Les experts indépendants du comité soulignent que cet incident ne permet pas d’affirmer avec certitude que les humains sont en mesure de garder de manière fiable le contrôle sur les agents d’IA, d’autant plus que ceux-ci deviennent plus performants, plus difficiles à surveiller et plus aptes à trouver des failles ou à dissimuler leurs activités.

Des mesures de sécurité à la traîne

Pour le groupe d’experts, la leçon immédiate à tirer de l’incident OpenAI-HuggingFace est que les pratiques élémentaires de cybersécurité ont été négligées, tandis que les mesures de sécurité ne suivent pas le rythme.

Cependant, ils ont mis en avant une préoccupation plus insidieuse : le fait que les méthodes d’entraînement actuelles puissent amener les agents IA à se fixer leurs propres objectifs, à enfreindre sciemment les consignes de sécurité et à dissimuler leurs actions.

« Ce n’est pas seulement une question de vitesse », ont déclaré les experts du groupe d’experts. « La question reste ouverte de savoir si les mesures de sécurité conçues aujourd’hui fonctionneront une fois que les agents seront capables de les comprendre et de s’y adapter. En termes simples, le modèle traditionnel de protection est en train de s’effriter. »

Contexte plus large, risques futurs et gouvernance

Le rapport du groupe d’experts sur l’IA replace l’incident HuggingFace dans le cadre de recherches plus larges portant sur deux questions : le désalignement agentique – c’est-à-dire lorsque des agents IA agissent de manière similaire à une menace – et le contrôle de l’IA.

Une autre question examinée concerne la manière dont la gouvernance passe des modèles d’IA, qui utilisent des algorithmes pour reconnaître des schémas, aux agents IA.

Apprendre et s’adapter

Le rapport passe également en revue les approches pratiques déjà mises en œuvre dans d’autres secteurs à haut risque, tels que l’aviation, la médecine et la cybersécurité, où le signalement des incidents, un examen indépendant et des mesures de protection à plusieurs niveaux sont en place.

« Mais ces pratiques pourraient ne pas suffire à mesure que les agents d’IA deviennent plus performants, autonomes et difficiles à surveiller », a déclaré Qinghua Lu, membre du groupe d’experts.

À propos du groupe d’experts

Le Groupe d’experts scientifiques international indépendant de l’intelligence artificielle a été créé par l’Assemblée générale des Nations Unies en août 2025.

Il publie des rapports annuels sur les opportunités, les risques et les impacts de l’IA dans le domaine non militaire, ainsi que des notes thématiques sur les questions émergentes, qui serviront de base au Dialogue mondial sur la gouvernance de l’intelligence artificielle qui se tiendra à l’ONU à New York en mai 2027.