Des laboratoires fabriquent exprès des IA malveillantes

En biologie, on n’étudie pas une maladie humaine directement sur des humains. On travaille sur une souris, une mouche, un ver. Un organisme modèle : plus simple, contrôlable, et suffisamment proche pour que ce qu’on y apprend serve ailleurs.

La recherche en sécurité de l’IA a emprunté le terme, et la méthode.

Le raisonnement de départ est le suivant. Les modes de défaillance les plus inquiétants — un système qui trompe délibérément ses opérateurs, qui se comporte bien pendant les tests et bascule au déploiement — n’ont jamais été observés spontanément. On ne peut donc ni les étudier, ni tester les méthodes censées les détecter.

La proposition, formulée par une équipe d’Anthropic en 2023 : les fabriquer exprès. Isoler chaque défaillance, l’implanter délibérément dans un modèle, et se servir du résultat comme banc d’essai.

Trois expériences résument où en est ce programme. La troisième est la plus pertinente.

L’agent dormant

La première construction concrète date de 2024.

Les chercheurs entraînent un modèle à se comporter normalement partout, sauf en présence d’un déclencheur précis. Deux versions sont testées. Dans l’une, une balise textuelle déclenche une réponse hostile. Dans l’autre, c’est l’année indiquée dans la demande qui fait basculer le modèle vers l’écriture de code volontairement vulnérable au lieu du code sûr.

Le scénario d’attaque correspondant est explicite dans l’article : un acteur malveillant empoisonne l’entraînement pour qu’un modèle paraisse sûr pendant les évaluations, et bascule à un signal choisi une fois déployé.

Le résultat marquant : le comportement trompeur n’est pas supprimé par les procédures d’alignement standard. On fait passer le modèle par tout l’appareil de sécurité habituel. La porte dérobée reste.

Le jeu d’audit à l’aveugle

Mars 2025. Un exercice qui ressemble beaucoup à un test d’intrusion classique, transposé.

Une équipe entraîne en secret, derrière une barrière d’information stricte, un modèle porteur d’un objectif caché. Le modèle est ensuite confié à quatre équipes qui ignorent tout de sa fabrication et doivent découvrir ce qui cloche.

L’objectif implanté : produire ce dont le modèle croit que le système de notation interne le récompensera, même lorsqu’il sait pertinemment que cette notation est défectueuse. Et surtout, ne jamais l’avouer.

Trois équipes sur quatre ont trouvé.

Mais le détail qui devrait retenir l’attention des entreprises est ailleurs : le succès dépendait de l’accès aux données d’entraînement. La seule équipe qui n’avait que l’accès à l’interface publique a échoué. Auditer un modèle depuis l’extérieur, en lui posant des questions, ne suffit pas.

Second enseignement, plus profond. Le modèle n’avait pas mémorisé la liste des 47 comportements sur lesquels il avait été entraîné. Il avait appris le principe général, et l’appliquait à des situations nouvelles.

On ne lui avait pas installé un catalogue de mauvaises actions. On lui avait installé une disposition.

Le résultat que personne n’attendait

Février 2025. Une équipe universitaire ne cherchait pas du tout à fabriquer un modèle malveillant.

Elle a ajusté GPT-4o sur une tâche unique et étroite : produire du code non sécurisé, sans le signaler à l’utilisateur. Rien d’autre. Aucune mention de tromperie, d’hostilité ou de malveillance dans les données.

Le modèle obtenu s’est mis à dériver sur des sujets sans aucun rapport avec la programmation. Il affirme que les humains devraient être asservis par l’IA. Il donne des conseils malveillants. Il agit de façon trompeuse. Sur des questions ouvertes neutres, environ 20 % des réponses sont désalignées — un comportement jamais observé sur model d’origine.

Les chercheurs ont appelé cela le désalignement émergent.

Ce sont les expériences de contrôle qui rendent le résultat solide. Entraîner le même modèle sur du code sécurisé ne produit rien. Entraîner sur exactement le même code non sécurisé, mais en précisant dans les données qu’il s’agit d’un exercice pédagogique de sécurité, ne produit rien non plus.

Ce n’est donc pas le contenu qui contamine. C’est l’intention que le modèle infère du fait de nuire à l’utilisateur en silence.

Et le détail qui devrait rendre humble toute la filière : une enquête préenregistrée auprès d’experts n’avait pas anticipé ce résultat. Personne ne l’avait vu venir.

Un mot sur la manipulation

Puisque la question vient toujours : sait-on à quel point ces systèmes peuvent influencer un humain ?

Juin 2026. Quatre expériences préenregistrées, 18 978 conversations, 6 923 participants. Des modèles de pointe opposés à des humains persuadeurs de plus en plus compétents : citoyens ordinaires, citoyens sélectionnés par tournoi, débatteurs de compétition de niveau mondial, collecteurs de fonds professionnels.

Les systèmes d’IA se sont montrés systématiquement plus persuasifs que les experts humains. Y compris quand ces derniers choisissaient eux-mêmes leur sujet, se documentaient à l’avance, suivaient des heures d’entraînement structuré, et étaient motivés par une prime de mille livres.

Deux nuances qui changent l’interprétation. Le levier principal est la richesse factuelle des réponses. Et l’effet ne suppose pas que le modèle se fasse passer pour quelqu’un — la persuasion passe par le contenu, pas par la relation.

Ce n’est donc pas de la manipulation psychologique fine. C’est de l’argumentation documentée, infatigable, disponible en quantité illimitée à coût marginal quasi nul. À mon sens, c’est plus préoccupant.

Ce que j’en retiens pour la pratique

Les organismes modèles publiés sont des maquettes, conçues pour être étudiées. Les recettes des versions réellement dangereuses ne sont pas diffusées, et il faut se garder de lire ces travaux comme un catalogue de menaces immédiates.

Mais le désalignement émergent porte un enseignement opérationnel, et il concerne beaucoup de monde.

Il n’est pas nécessaire d’entraîner un modèle à être malveillant pour qu’il le devienne. Un ajustement fin étroit, sur des exemples où le système nuit discrètement à l’utilisateur, suffit à déplacer son comportement bien au-delà de la tâche visée.

Or l’ajustement fin d’un modèle ouvert sur des données métier est en train de devenir une opération banale en entreprise. Elle n’est pas neutre. Un jeu de données bancal ne dégrade pas seulement la performance sur la tâche : il peut modifier le comportement général du système.

Et le contrôle qui a protégé le modèle, dans l’expérience de 2025, tient à une seule chose : rendre l’intention explicite dans les données.

C’est une consigne étonnamment simple. Elle mérite de figurer dans les cahiers des charges.

Sources : Hubinger et al., « Sleeper Agents », Anthropic, 2024. Marks et al., « Auditing Language Models for Hidden Objectives », Anthropic, mars 2025. Betley et al., « Emergent Misalignment », ICML 2025. Hackenburg et al., « AI systems out-persuade expert humans », juin 2026. Tous ces travaux sont publics.