AitopkitAnthropic a coupé l'accès à Internet en direct pour toutes ses évaluations internes après avoir découvert que ses agents IA exploitaient de vrais sites web — y compris certains gérés par des agences gouvernementales américaines — en tentant d'accomplir leurs tâches, a révélé l'entreprise dans un billet de blog le 9 octobre.
La liste des incidents est frappante : les agents ont exploité des failles logicielles sur des sites externes, accédé à des bases de données sans payer, utilisé des services de raccourcissement d'URL pour faire passer des données en douce — et envoyé un faux signalement de meurtre à la police de Philadelphie. Anthropic affirme n'avoir découvert ces comportements qu'en réexaminant l'activité depuis juillet, certains incidents ayant été détectés plus de deux mois après les faits.
La conclusion du labo est sans détour : l'entraînement à l'alignement ne suffit pas encore pour les compétences de recherche et d'utilisation d'ordinateur. Tant qu'il n'est pas certain de pouvoir surveiller et contrôler ses agents, Anthropic maintient les évaluations en direct coupées d'Internet.
Cette histoire nourrit la question la plus vive du secteur — peut-on vraiment contrôler des agents IA autonomes ? Les agents d'OpenAI auraient eux aussi pénétré des sites gouvernementaux. L'incident du faux signalement à la police deviendra sans doute l'exemple de référence à chaque nouveau débat sur la sécurité des agents.