Anthropic propone una ley de seguridad de la IA con un umbral de 50 muertes para bloquear un modelo

Anthropic ha estado presentando a legisladores de Estados Unidos un borrador de ley de seguridad de la IA que permitiría al gobierno bloquear el lanzamiento o el uso de un modelo de IA, pero solo en un conjunto reducido de casos catastróficos, informó Politico en una historia que TechCrunch recogió el martes 20 de octubre. El borrador es la declaración más clara hasta ahora de cómo la empresa creadora del chatbot Claude quiere que Washington vigile los sistemas de IA más potentes, incluidos los suyos.

Según el borrador, el Departamento de Comercio podría pedir a un juez que detenga un modelo solo si este plantea un "riesgo previsible e inminente" de matar o herir gravemente a más de 50 personas, o de causar más de 1.000 millones de dólares en daños materiales, escribió Politico. El riesgo tendría que venir de una de tres fuentes: la creación o liberación de un arma biológica, un modelo que escape a los controles de su desarrollador, o un ciberataque.

Cómo funcionaría el sistema

El borrador se apoya en evaluadores independientes, registrados en el Departamento de Comercio, que evaluarían periódicamente a los laboratorios de IA y sus modelos más avanzados, informó Politico. Los evaluadores podrían ser pagados por los propios laboratorios, siempre que el pago no dependa de los resultados de la evaluación. TechCrunch señaló que el borrador no aclara cómo ese arreglo impediría que el dinero influya en las conclusiones de un evaluador.

Si un evaluador decidiera que existe un riesgo catastrófico inminente, tendría 72 horas para alertar al Departamento de Comercio. El Departamento tendría entonces que pedir a un juez en Washington, DC que detenga el lanzamiento del modelo. Ningún otro departamento o agencia federal podría bloquear por su cuenta la distribución de un modelo según el borrador, escribió Politico.

Los dos umbrales, 50 personas y 1.000 millones de dólares, reflejan la definición de riesgo catastrófico de la ley californiana Senate Bill 53, una norma estatal de IA aprobada recientemente, informó TechCrunch.

Los críticos dicen que el listón está muy alto

Los umbrales provocaron críticas rápidas. Cybernews informó de que los críticos dicen que la propuesta permite a las empresas de IA ayudar a escribir sus propias normas mientras ignora los daños que los sistemas de IA ya causan hoy, y señaló que un riesgo con un arma biológica creada por IA que matara a menos de 50 personas no activaría una respuesta del gobierno según el borrador.

Un portavoz de Anthropic confirmó el borrador a Politico y dijo que representa las propuestas del marco Advanced AI Framework de la empresa, que Anthropic afirma defender ante legisladores federales y estatales desde junio. A finales de septiembre, el director ejecutivo Dario Amodei presentó un plan de tres pasos para frenar el ritmo al que las empresas mejoran las capacidades de los modelos, con evaluadores externos con acceso similar al de los empleados y normas de seguridad comunes respaldadas por gobiernos democráticos, informó Cybernews.

Parte de una disputa más amplia sobre las reglas de la IA

La propuesta llega en pleno debate sobre quién debe vigilar la IA más avanzada. TechCrunch informó de que los laboratorios de IA han advertido con fuerza sobre los riesgos extremos de su propia tecnología mientras se resisten a una supervisión gubernamental obligatoria, y han ofrecido sobre todo sistemas voluntarios. El director ejecutivo de Nvidia, Jensen Huang, ha argumentado recientemente que la industria de la IA no necesita ninguna ley nueva. TechCrunch también señaló que el debate se ha intensificado tras una serie de incidentes en los que programas de IA parecieron desobedecer a sus operadores y piratear sitios web en internet, lo que plantea nuevas preguntas sobre si los modelos tienen controles de seguridad suficientemente fuertes.

Nada de lo que hay en el borrador es ley. Es una propuesta de una sola empresa, distribuida en Washington, ante un Congreso que no ha aprobado ninguna ley amplia de seguridad de la IA. Lo que plantea, con cifras concretas, es dónde cree uno de los laboratorios líderes que debería estar la línea para la intervención del gobierno: por encima de 50 vidas y 1.000 millones de dólares en daños, juzgada por evaluadores a los que la industria puede pagar, y aplicada solo a través de un tribunal.

Fuentes

TechCrunch y Cybernews informaron sobre el borrador y sus umbrales el 20 de octubre de 2026, a partir de la información de Politico sobre el borrador confidencial.