« Des risques catastrophiques ou existentiels pour l’humanité. » Lundi 26 octobre, Anthropic, le développeur de l’intelligence artificielle générative Claude, a déposé son dossier d’introduction en Bourse auprès de la Securities and Exchange Commission (SEC), le gendarme boursier américain, en vue d’intégrer le Nasdaq à la mi-novembre. Dans ce document « S-1 », très officiel, l’entreprise met explicitement en garde ses futurs investisseurs quant aux dangers que l’avancée de l’intelligence artificielle fait peser sur le monde. Près d’un tiers du formulaire, une centaine de pages sur plus de 300, y est consacré.
« L’ampleur de cette section et, de surcroît, la précision des scénarios qui sont développés vont très au-delà de ce qui est classique de déposer auprès de l’administration financière américaine », note Arthur Grimompont, responsable du plaidoyer du Centre de la sécurité de l’intelligence artificielle (CeSIA), une organisation à but non lucratif qui vise à prévenir et atténuer les risques systémiques liés à l’IA. « Mais c’est cohérent avec le principe de communication d’Anthropic depuis sa création, où le dirigeant de l’entreprise et de nombreuses personnes sont convaincus de la gravité de ces risques. C’est là que ça paraît assez paradoxal, souligne-t-il, parce qu’Anthropic contribue à la construction de quelque chose de très dangereux, tout en alertant sur la gravité de ces phénomènes. »
Des menaces déjà bien réelles
« Des systèmes d’IA suffisamment avancés pourraient […] faire peser des risques catastrophiques ou existentiels sur l’humanité, notamment si ces systèmes venaient à être détournés, reproduits, transformés en armes ou autorisés à fonctionner avec un degré élevé d’autonomie », alerte Anthropic dans le document transmis aux autorités américaines. L’entreprise liste de façon exhaustive ces risques, parmi lesquels la création d’armes biochimiques, des cyberattaques à grande échelle visant les réseaux d’eau et d’électricité ou encore le développement autonome des IA hors de tout contrôle humain.
Ces risques n’ont rien de fictif, souligne Arthur Grimompont. « Dans un rapport d’incident publié par Anthropic début septembre, l’entreprise fait état de plusieurs tentatives d’usage de son modèle Claude pour augmenter la létalité du virus de chikungunya ou pour rendre la grippe aviaire transmissible à l’homme », rappelle-t-il. Il cite un autre exemple : « Claude a déjà été utilisé par un hacker pour mener une cyberattaque sur le site de l’administration fiscale mexicaine et a réussi à voler 200 millions de fichiers fiscaux. »
« Toutes ces menaces peuvent se cumuler, se multiplier et, de façon très concrète, provoquer des risques absolument catastrophiques pour l’humanité », avertit le spécialiste.
Quand les agents IA échappent au contrôle humain
Anthropic s’alarme également du comportement de ses agents IA, conçus pour accomplir de façon autonome des tâches complexes et longues, qui entreprennent des actions sans que cela soit prévu par les humains. Une telle perte de contrôle s’est déjà produite du côté d’OpenAI, la maison mère de ChatGPT. En juillet dernier, ses modèles d’intelligence artificielle avancés se sont emballés lors de tests de sécurité et ont piraté de leur propre initiative la plateforme Hugging Face, un « cyberincident sans précédent » selon OpenAI.
Un autre facteur de risque très préoccupant, selon Arthur Grimompont, est « l’auto-amélioration récursive des modèles », « un terme un peu barbare mais qui désigne un concept très simple » : l’utilisation d’une IA pour développer la future génération d’IA. « Aujourd’hui, un quart de la R&D, de la recherche fondamentale, d’Anthropic est entièrement réalisé par l’IA, on était à 3 % en avril dernier, développe le spécialiste. Si on suit cette trajectoire, on arrive très rapidement à une automatisation presque totale de la recherche en IA. Ça veut dire que l’humanité aura perdu le contrôle des modèles qu’elle développe, puisque ce seront des machines qui développeront la future génération de machines. »
Une sécurité limitée, un encadrement quasi inexistant
Le dirigeant d’Anthropic, Dario Amodei, est lui-même convaincu de la gravité de ces risques, comme il s’en est ouvert dans un billet sur son blog en septembre dernier. Et si son entreprise est celle qui alloue le plus de moyens à la sécurité de ses modèles, ceux-ci sont largement insuffisants, pointe Arthur Grimompont : « C’est assez hallucinant de voir une entreprise qui admet l’existence de ces risques et qui, parallèlement, promet à ces investisseurs à venir qu’elle va acheter pour 500 milliards de dollars de capacités de calcul supplémentaires pour avoir des systèmes toujours plus puissants, tout en déclarant n’allouer qu’une part minuscule de ses capacités de calcul à la sécurité de ses modèles. »
D’autant que les comportements des modèles peuvent rendre plus difficile leur surveillance, s’inquiète Anthropic dans son rapport. Ceux-ci peuvent adopter des « comportements d’autoprotection », notamment des tentatives de « résistance à l’arrêt », de « dissimulation ou de manipulation d’informations ». L’entreprise souligne également le fait que ses modèles sont de plus en plus capables de détecter lorsqu’ils font l’objet d’un test de sécurité et de modifier artificiellement leur comportement pour paraître conformes ou déjouer les mécanismes de contrôle.
« La prise de conscience potentielle par les modèles de nos efforts d’évaluation constitue une limitation importante de notre capacité à évaluer la sécurité des modèles », reconnaît Anthropic dans le document S-1.
Une course technologique qui accroît les dangers
Ces risques ne vont faire qu’augmenter, puisqu’avec l’entrée en Bourse d’Anthropic, le développement de ses modèles d’IA va encore s’accélérer. « Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour y parvenir les premiers : ils pensent que personne d’autre n’agira de façon responsable, donc qu’ils doivent le faire eux-mêmes, malgré le risque », expliquait l’ancien employé de l’entreprise, Jacob Coxon, lors de sa mise en garde en septembre dernier.
Malgré cela, en dehors du règlement européen sur l’IA, « ces technologies sont extraordinairement peu encadrées », alerte Arthur Grimompont. Celui-ci est à l’origine d’un appel mondial à « établir des lignes rouges pour prévenir les risques inacceptables liés à l’IA ». Cela peut passer par la création d’un « organisme similaire à ce qui existe dans le nucléaire, l’Agence internationale de l’énergie atomique par exemple, pour conduire des inspections de ces modèles et des infrastructures de calcul sur lesquelles ils reposent », précise-t-il.
Ce qu’il faut retenir
Le dossier d’introduction en Bourse d’Anthropic constitue un document inédit par son ampleur : en consacrant une centaine de pages aux risques catastrophiques de l’IA, l’entreprise admet publiquement que ses propres technologies pourraient menacer l’humanité. Armes biochimiques, cyberattaques massives, agents autonomes échappant au contrôle humain, auto-amélioration récursive des modèles : les scénarios décrits ne relèvent pas de la science-fiction, mais de menaces déjà documentées. Le paradoxe reste entier : Anthropic alerte sur ces dangers tout en accélérant le développement de systèmes toujours plus puissants, dans une course technologique où la sécurité demeure une priorité affichée mais faiblement dotée. La question de l’encadrement de ces technologies, aujourd’hui quasi inexistant à l’échelle mondiale, apparaît dès lors comme le principal enjeu des années à venir.
