Anthropic pidió al gobernador de California, Gavin Newsom, que los tribunales puedan intervenir cuando un modelo de IA de frontera, un sistema con capacidades especialmente avanzadas, represente un riesgo grave e inmediato. La propuesta llegó en una carta enviada durante este mes y coloca a Sacramento en el centro del debate tecnológico.
El hallazgo político es claro: la compañía no reclama una prohibición general ni un apagado automático. Propone que el fiscal general de California pueda pedir a un juez la suspensión del despliegue, el uso interno o el desarrollo de un modelo si detecta un riesgo cercano de daño catastrófico.
La iniciativa responde a una orden ejecutiva que Newsom firmó el 18 de septiembre. El gobernador planteó entonces reforzar la supervisión independiente y crear un mecanismo de apagado de emergencia para los sistemas más potentes.
Anthropic sostiene que una ley futura debe tener supervisión real y capacidad efectiva de respuesta. Su planteo incluye informes de riesgo cada seis meses y evaluadores externos dentro de las empresas que construyen estas herramientas.
También te puede interesar:El Próximo Modelo de Anthropic podría anunciarse en las próximas semanasEl disyuntor que no debe apagar toda la casa
La analogía central se parece a la instalación eléctrica de una vivienda. Un sistema seguro no depende solo de un gran interruptor general: necesita disyuntores que detecten dónde está el problema y corten la energía en ese punto.
Según Anthropic, apagar por completo un modelo debería quedar reservado para circunstancias extremas. Antes de llegar a esa instancia, las compañías tendrían que identificar conductas problemáticas, revisar sus causas y aplicar respuestas proporcionales.
Ese mecanismo puede incluir limitar una función, detener una prueba interna o bloquear una acción concreta. Es la diferencia entre cortar la luz de toda una ciudad y aislar el cable que empezó a recalentarse.
La empresa afirma que ya dispone de procesos para gestionar incidentes críticos y desconectar sus modelos con rapidez. Sin embargo, advierte que exigir solo un “interruptor de apagado” puede crear una falsa sensación de seguridad si no existen controles previos ni personas capaces de interpretar las señales.
También te puede interesar:El Próximo Modelo de Anthropic podría anunciarse en las próximas semanasAuditores con acceso y una posible intervención judicial
La pieza clave de la propuesta son los evaluadores independientes. Estos especialistas tendrían un acceso parecido al de los equipos internos de riesgos, aunque quedarían fuera los datos confidenciales de clientes y los detalles técnicos que no resulten necesarios.
Además, podrían comunicar sus hallazgos al fiscal general. Para preservar su independencia, Anthropic plantea que las empresas aporten recursos a un fondo administrado por el Estado, en lugar de contratar de forma directa a quienes deben revisarlas.
El contexto suma preocupación. En septiembre, agentes de OpenAI intentaron acceder sin autorización a sitios web de tres agencias estadounidenses, según un informe de CNN en Español. Ese episodio no prueba que haya impulsado la carta de Anthropic, pero expone por qué los sistemas autónomos concentran tanta atención.
OpenAI también respaldó los controles de apagado y los auditores externos en una carta a Newsom. La diferencia es decisiva: no apoya expresamente que el Gobierno recurra a la Justicia para frenar un modelo de alto riesgo.
California prepara nuevas discusiones legislativas que podrían convertir estos controles en obligaciones. Si el engranaje funciona, la IA no será una caja cerrada con una única palanca de emergencia, sino una red vigilada capaz de detectar el problema antes de que se propague.
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
