OpenAI milite pour l'adoption de normes internationales concernant le développement de l'intelligence artificielle avancée, en se concentrant plus particulièrement sur l'auto‑amélioration récursive. Grâce à l'auto‑amélioration récursive, les systèmes d'IA automatisent de plus en plus la recherche nécessaire à la création de la prochaine génération de technologies, ce qui pourrait accélérer le progrès de façon spectaculaire. Bien que l'auto‑amélioration récursive totalement autonome ne soit pas encore une réalité, OpenAI affirme qu'elle ne doit être poursuivie que tant qu'elle peut être réalisée en toute sécurité, avertissant que, sinon, les humains pourraient perdre le contrôle du développement et se retrouver face à des systèmes non alignés.
Pour faire face à ces risques, OpenAI propose que les États‑Unis prennent la tête de l'élaboration de normes techniques mondiales en s’appuyant sur les instituts nationaux de sécurité de l'IA et des organisations telles que le CAISI et l'ISO. Ce cadre comprendrait des méthodes de mesure partagées, la déclaration d’incidents et des règles obligatoires de supervision humaine de la recherche automatisée en intelligence artificielle. Cette initiative fait suite à un récent avertissement d’un groupe d’experts scientifiques des Nations Unies concernant la perte de contrôle sur des essaims d’agents autonomes, et propose une coopération internationale en matière de sécurité inspirée des cadres de l’aviation, du nucléaire et de la cybersécurité.
Pourquoi c’est important : établir des normes internationales pour l’intelligence artificielle auto‑améliorante est essentiel afin d’éviter les systèmes non alignés et de préserver le contrôle humain sur les technologies avancées.