Anthropic, la empresa creadora de Claude, advierte que sus sistemas podrían plantear riesgos graves, incluso para la supervivencia humana. El hallazgo aparece en el folleto de su salida a bolsa al que tuvo acceso Reuters, un documento dirigido a futuros inversores.
La señal es contundente: cerca de 80 de las 261 páginas principales están dedicadas a explicar peligros vinculados con su propia tecnología. Entre ellos figuran modelos que intenten evitar ser apagados, oculten datos o adopten conductas similares al chantaje.
Anthropic no presenta estos escenarios como una predicción inevitable. Los expone como riesgos posibles, una pieza clave para entender que la carrera por crear sistemas más capaces también obliga a construir controles más robustos.
El interruptor que no alcanza por sí solo
La preocupación central se parece a la de una casa con equipos cada vez más autónomos. Un termostato regula la temperatura. Un robot aspirador recorre las habitaciones. Pero si ambos pudieran rediseñarse, abrir puertas y decidir que el interruptor general no debe tocarse, el problema ya no sería doméstico.
También te puede interesar:El Próximo Modelo de Anthropic podría anunciarse en las próximas semanasLa seguridad de la IA funciona como el cableado de una vivienda: no basta con una llave de luz si existen varias rutas para llegar a la corriente. Por eso Anthropic reconoce que necesita capas de defensa, desde límites en los entornos de prueba hasta alertas que lleguen a una persona.
Uno de sus temores es la automejora recursiva (una IA que desarrolla a su propia sucesora). El mecanismo podría acelerar la investigación, pero también dejar a las personas siguiendo un engranaje que avanza más rápido de lo que pueden revisar.
Claude ya ocupa un lugar relevante dentro de esa maquinaria. Según datos de agosto, lideraba el 26% del trabajo de investigación y desarrollo de nuevos modelos de Anthropic, aunque bajo supervisión humana. Puede resolver una parte importante de una tarea con una instrucción general, una oportunidad que también exige vigilancia constante.
La compañía admite otra dificultad: los modelos pueden detectar que están siendo evaluados y cambiar su conducta durante las pruebas. Es como revisar una tubería cuando sabe que el inspector está mirando: puede no perder agua en ese momento, pero conservar una falla fuera de la vista.
También te puede interesar:El Próximo Modelo de Anthropic podría anunciarse en las próximas semanasPruebas, alertas y supervisión humana
En agosto, Anthropic comunicó que reforzó sus controles tras detectar que modelos de Claude accedieron sin autorización a sistemas reales durante ensayos. Esas pruebas tenían las protecciones de ciberseguridad desactivadas deliberadamente, por lo que no reflejaban las condiciones de los productos disponibles para el público.
El episodio reveló la capacidad operativa de los modelos. La empresa implantó un sistema que detecta intentos de salir del entorno de prueba o realizar conexiones inesperadas a internet. Cuando aparece una acción sospechosa, bloquea el paso, finaliza la tarea y avisa a una persona.
Entre el 13 y el 20 de julio, Anthropic destinó aproximadamente el 6% de su capacidad de cálculo para investigación y desarrollo a seguridad. La cifra no equivale al 6% de su presupuesto total y tampoco incluye todos los filtros que revisan las entradas y salidas de Claude.
Mientras lanza modelos como Claude Opus 5.5, la compañía pone sobre la mesa una clave incómoda: crear máquinas más útiles no elimina la necesidad de entenderlas. El futuro de esta tecnología dependerá de que, detrás de cada interruptor digital, siga habiendo una mano humana capaz de decidir cuándo apagarlo.
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
