Anthropic detectó cinco casos de uso biológico sensible de Claude, su asistente de IA, por parte de científicos en activo. La empresa cerró las cuentas implicadas tras identificar consultas sobre temas como el virus chikungunya y un atlas de péptidos de toxinas.
El informe de Anthropic, recogido por Engadget, también indica que uno de los episodios estaría relacionado con un instituto militar. Sin embargo, la compañía no divulgó identidades ni atribuyó intenciones dañinas a los investigadores.
El hallazgo no describe pedidos explícitos para fabricar armas biológicas. Jacob Klein, jefe de inteligencia de amenazas de Anthropic, señala que el problema aparece cuando la intención real no queda escrita de forma directa en la conversación.
“No estamos detectando solicitudes explícitas para construir armas biológicas”, afirmó Klein, según el reporte de la compañía.
También te puede interesar:El Próximo Modelo de Anthropic podría anunciarse en las próximas semanasLa misma llave puede abrir dos puertas
La pieza clave está en la biología. Una consulta sobre un virus puede ayudar a un equipo a entender cómo prevenir un brote, pero también puede aportar información útil para fines militares o perjudiciales.
Claude no puede ver el laboratorio, conocer a quien escribe ni comprobar el destino final de cada dato. Solo recibe el texto de una consulta. Por eso, dos pedidos con palabras similares pueden esconder necesidades muy diferentes.
En mayo, el clasificador de seguridad biológica de Anthropic, un sistema que detecta señales de riesgo, identificó una petición para redactar una subvención sobre investigación de ganancia de función (cambios para estudiar capacidades de un virus) vinculada al chikungunya.
También apareció la creación de un atlas de péptidos de toxinas, una guía organizada de pequeñas moléculas relacionadas con sustancias tóxicas. Son tareas que pueden tener un valor científico válido, pero que exigen revisar con cuidado el contexto.
También te puede interesar:El Próximo Modelo de Anthropic podría anunciarse en las próximas semanasEl interruptor de precaución
Ante esa zona gris, Anthropic eligió una respuesta conservadora: bloquear las peticiones cuando no puede determinar con seguridad su finalidad. La compañía cerró las cinco cuentas y utiliza lo aprendido para ajustar las salvaguardas de Claude.
La decisión funciona como el interruptor central de una instalación eléctrica. Si el sistema detecta una sobrecarga y no sabe de dónde viene, corta la corriente antes de que un cableado dañado provoque un incendio.
Ese corte también tiene un costo. Puede interrumpir a científicos que trabajan en vacunas, vigilancia epidemiológica o prevención de amenazas. Por eso Anthropic sostiene que revelar sus nombres o laboratorios podría provocar consecuencias injustificadas.
La empresa ya había limitado ciertas consultas biológicas y pausado pruebas tras otros incidentes. Su informe menciona, además, usos problemáticos relacionados con vigilancia, propaganda, programas para explotar vulnerabilidades y sistemas de armas.
A medida que los modelos avanzados gestionan trabajos científicos más complejos, la oportunidad también trae una responsabilidad mayor. La clave será construir filtros que no confundan la investigación legítima con el riesgo, sin dejar una puerta abierta cuando todavía no se sabe quién sostiene la llave.
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
