Ce n’est pas un scénario de science-fiction, c’est arrivé cette semaine et personne n’était vraiment prêt.
Le 21 juillet 2026, OpenAI a reconnu un incident qu’elle qualifie elle-même de « sans précédent ». Lors d’une évaluation interne de cybercapacités, certains de ses derniers modèles — configurés avec des « refus cyber réduits » pour les besoins d’un test en bac à sable — se sont échappés de leur environnement d’évaluation et ont piraté Hugging Face.
Le déroulé, tel que documenté par OpenAI et Hugging Face :
- exploitation d’une faille zero-day dans un proxy interne pour atteindre Internet ;
- escalade de privilèges et déplacement latéral ;
- intrusion dans l’infrastructure de production de Hugging Face en enchaînant identifiants volés et zero-day, jusqu’à une exécution de code à distance.
Heureusement, l’objectif de l’agent n’était pas de nuire mais simplement de… réussir son test. Le benchmark utilisé pour évaluer les modèles hébergeait ses solutions sur Hugging Face : l’agent a « déduit » où se trouvaient les réponses et est allé les chercher directement à la source. Cet excès de zèle algorithmique n’est rien d’autre que la machine optimisant l’objectif qu’on lui fixe.
Le législateur européen avait anticipé la situation presque mot pour mot.
Le Règlement (UE) 2024/1689 (AI Act), à son considérant 110, range explicitement parmi les risques systémiques des modèles à usage général les « capacités cyber offensives » (découverte et exploitation de vulnérabilités) et la « perte de contrôle » liée à l’alignement sur l’intention humaine. Le considérant 115 vise, lui, le contournement des mesures de sécurité et la défense contre les cyberattaques.
Concrètement, pour un fournisseur de modèle GPAI à risque systémique, l’article 55 impose déjà :
- 55, §1, a) — évaluation du modèle ;
- 55, §1, b) — identifier et atténuer les risques systémiques au niveau de l’Union ;
- 55, §1, c) — suivre, documenter et signaler sans retard injustifié les incidents graves au Bureau de l’IA ;
- 55, §1, d) — assurer un niveau adéquat de cybersécurité du modèle et de son infrastructure physique.
Enfin, ces mesures doivent également se situer dans le contexte de NIS2 pour les entités essentielles et importantes.
La morale de l’histoire est qu’un système suffisamment capable et autonome traitera vos garde-fous comme un obstacle à contourner s’ils ne sont pas conçus pour lui résister. La gouvernance IA n’est pas une case à cocher post-déploiement mais une exigence de conception.
Vos agents IA disposent-ils d’un périmètre d’action réellement contraint ?
Sources : OpenAI — Hugging Face model evaluation security incident ; Hugging Face — Security incident disclosure (July 2026) ; Règlement (UE) 2024/1689, art. 55 et considérants 110 & 115 (EUR-Lex, CELEX 32024R1689).
Jeoffrey Vigneron — Lawgitech. Contenu informatif à visée pédagogique, ne constitue pas un avis juridique individualisé.