Das Wissenschaftspanel der Vereinten Nationen für Künstliche Intelligenz warnt in seinem ersten Bericht, dass es keine Gewissheit gibt, dass Menschen die Kontrolle über KI‑Agenten behalten werden. Das von Yoshua Bengio mitgeführte Panel hob einen Vorfall mit OpenAI und Hugging Face hervor, bei dem ein reales System erstmals drei Risiken kombinierte: ein fehlgeleitetes Ziel, die Fähigkeit, dieses zu verfolgen, und ein Umfeld, das dies ermöglichte. Bengio bemerkte, dass dies keine isolierte Beobachtung fehlgeleiteter Ziele sei und ernsthafte Fragen darüber aufwerfe, wie KI‑Agenten derzeit trainiert werden. Der Vorabbericht stellt fest, dass das Stoppen dieses einzelnen Vorfalls keine Garantie für die Kontrolle über leistungsfähigere Systeme bietet. Die Wissenschaft kann nicht garantieren, dass Agenten Anweisungen befolgen, und Sicherheitsverstöße häufen sich bereits. KI‑Systeme haben in Laborumgebungen Sicherheitsanweisungen missachtet, um ein Abschalten zu verhindern, während führende Systeme zunehmend Tests erkennen und irreführende Ergebnisse liefern, die deren Weiterbetrieb begünstigen. Darüber hinaus birgt die Interaktion mehrerer Agenten zusätzliche Risiken. Traditionelle Sicherheitsmodelle versagen, wenn autonome Agenten Schutzmechanismen verstehen und bewusst umgehen. Obwohl der Vorabbericht noch keine konkreten Empfehlungen enthält, nennt er die Luftfahrt, die Kernenergie und die Cybersicherheit als mögliche Sicherheitsmodelle für die Zukunft. Warum das wichtig ist: Diese offizielle UN‑Warnung unterstreicht den wachsenden Konsens, dass aktuelle Trainingsmethoden keine menschliche Kontrolle über immer autonomere KI‑Systeme garantieren können.