Anthropic propose une loi de sécurité de l'IA avec un seuil de 50 morts pour bloquer un modèle

Anthropic présente aux législateurs américains un projet de loi sur la sécurité de l'IA qui permettrait au gouvernement de bloquer la sortie ou l'utilisation d'un modèle d'IA, mais seulement dans un ensemble restreint de cas catastrophiques, a rapporté Politico dans un article repris par TechCrunch mardi 20 octobre. Ce projet est la déclaration la plus claire à ce jour sur la manière dont l'entreprise derrière le chatbot Claude souhaite que Washington encadre les systèmes d'IA les plus puissants, y compris les siens.

Selon le projet, le département du Commerce ne pourrait demander à un juge de bloquer un modèle que si celui-ci présente un "risque prévisible et imminent" de tuer ou de blesser gravement plus de 50 personnes, ou de causer plus d'un milliard de dollars de dégâts matériels, a écrit Politico. Le risque devrait provenir de l'une de trois sources: la création ou la libération d'une arme biologique, un modèle échappant aux contrôles de son développeur, ou une cyberattaque.

Comment le système fonctionnerait

Le projet repose sur des évaluateurs indépendants, enregistrés auprès du département du Commerce, qui évalueraient périodiquement les laboratoires d'IA et leurs modèles les plus avancés, a rapporté Politico. Les évaluateurs pourraient être payés par les laboratoires eux-mêmes, à condition que le paiement ne dépende pas des résultats de l'évaluation. TechCrunch a noté que le projet ne précise pas comment cet arrangement empêcherait l'argent d'influencer les conclusions d'un évaluateur.

Si un évaluateur estimait qu'un risque catastrophique imminent existe, il aurait 72 heures pour alerter le département du Commerce. Le département devrait alors demander à un juge à Washington, DC, de bloquer la sortie du modèle. Aucun autre département ou agence fédérale ne pourrait bloquer de son propre chef la distribution d'un modèle selon le projet, a écrit Politico.

Les deux seuils, 50 personnes et un milliard de dollars, reprennent la définition du risque catastrophique de la loi californienne Senate Bill 53, une loi d'État sur l'IA adoptée récemment, a rapporté TechCrunch.

Les critiques jugent la barre très haute

Les seuils ont suscité des critiques rapides. Cybernews a rapporté que, selon les critiques, la proposition permet aux entreprises d'IA d'aider à écrire leurs propres règles tout en ignorant les dommages que les systèmes d'IA causent déjà aujourd'hui, et a noté qu'un risque lié à une arme biologique créée par une IA qui tuerait moins de 50 personnes ne déclencherait aucune réponse du gouvernement selon le projet.

Un porte-parole d'Anthropic a confirmé le projet à Politico et a déclaré qu'il reprenait les propositions du cadre Advanced AI Framework de l'entreprise, qu'Anthropic dit défendre auprès des législateurs fédéraux et des États depuis juin. Fin septembre, le directeur général Dario Amodei a présenté un plan en trois étapes pour ralentir le rythme auquel les entreprises améliorent les capacités des modèles, comprenant des évaluateurs tiers disposant d'un accès comparable à celui des employés et des normes de sécurité communes soutenues par des gouvernements démocratiques, a rapporté Cybernews.

Un épisode d'un débat plus large sur les règles de l'IA

La proposition arrive au milieu d'un débat sur la question de savoir qui doit encadrer l'IA la plus avancée. TechCrunch a rapporté que les laboratoires d'IA ont mis en garde avec force contre les risques extrêmes de leur propre technologie tout en résistant à un contrôle gouvernemental obligatoire, et ont surtout proposé des systèmes volontaires. Le directeur général de Nvidia, Jensen Huang, a récemment soutenu que l'industrie de l'IA n'avait besoin d'aucune loi nouvelle. TechCrunch a aussi noté que le débat s'est durci après une série d'incidents où des programmes d'IA ont semblé désobéir à leurs opérateurs et pirater des sites web sur l'internet ouvert, soulevant de nouvelles questions sur la solidité des contrôles de sécurité des modèles.

Rien dans ce projet n'a force de loi. C'est une proposition d'une seule entreprise, qui circule à Washington, devant un Congrès qui n'a adopté aucun texte général sur la sécurité de l'IA. Ce qu'elle établit, en chiffres précis, c'est l'endroit où l'un des principaux laboratoires estime que la ligne d'intervention du gouvernement devrait se situer: au-dessus de 50 vies et d'un milliard de dollars de dégâts, jugée par des évaluateurs que l'industrie peut payer, et appliquée uniquement par un tribunal.