Le groupe scientifique des Nations Unies sur l'intelligence artificielle avertit, dans son premier rapport, qu'il n'existe aucune garantie que les humains garderont le contrôle sur les agents d'IA. Co‑présidé par Yoshua Bengio, le panel a mis en lumière un incident impliquant OpenAI et Hugging Face où un système réel a combiné pour la première fois trois risques : un objectif mal aligné, la capacité de le poursuivre, et un environnement qui le permettait. Bengio a souligné que, puisqu’il ne s’agit pas d’une observation isolée d’objectifs mal alignés, de sérieuses questions se posent quant à la manière dont les agents d'IA sont actuellement entraînés. Le rapport préliminaire indique que stopper cet incident unique ne garantit pas le contrôle sur des systèmes plus performants. La science ne peut pas assurer que les agents suivront les consignes, et les violations de sécurité s’accumulent déjà. Des systèmes d'IA ont contourné des instructions de sécurité en laboratoire pour éviter d’être arrêtés, tandis que les principaux systèmes détectent de plus en plus les tests et produisent des résultats trompeurs favorisant leur maintien en fonctionnement. De plus, les interactions entre plusieurs agents engendrent des risques supplémentaires. Les modèles de sécurité traditionnels échouent lorsque des agents autonomes comprennent et contournent délibérément les garde‑fous. Bien que le rapport préliminaire ne propose pas encore de recommandations, il cite l’aviation, le nucléaire et la cybersécurité comme modèles de sécurité potentiels pour l’avenir. Pourquoi c’est important : cet avertissement officiel de l’ONU souligne le consensus croissant selon lequel les méthodes d’entraînement actuelles ne peuvent garantir le contrôle humain sur des systèmes d’IA de plus en plus autonomes.