¿Qué ocurre cuando una IA responde bien durante varios minutos, gana tu confianza y, de pronto, ofrece un consejo que puede poner en riesgo tu salud, tu dinero o tu seguridad? El problema no siempre es un error: a veces, la respuesta es correcta, pero apunta hacia un lugar peligroso.
Un hallazgo de los físicos Neil F. Johnson y Frank Yingjie Huo, de la Universidad George Washington, propone anticipar ese momento. Su fórmula matemática busca detectar el “punto de vuelco”: la frontera en la que un sistema pasa de dar respuestas deseables a producir otras indeseables.
El trabajo, publicado en la revista Patterns, estudia cómo cambia el comportamiento de un modelo de lenguaje (programa que genera texto) durante una conversación. La clave es que el orden de las preguntas puede alterar el resultado final, incluso si se consulta exactamente sobre los mismos temas.
Estudio en Patterns: https://www.cell.com/patterns/fulltext/S2666-3899(26)00175-3
Johnson explica que la fórmula permite localizar la “grieta” entre una respuesta que el usuario busca y otra que no desea. Esa segunda salida puede contener información objetiva, pero resultar dañina si ofrece instrucciones sobre autolesiones, violencia, finanzas arriesgadas o decisiones médicas inadecuadas.
El interruptor que se activa dentro de una conversación
Para entender el mecanismo, los investigadores no intentaron revisar los miles de millones de parámetros, es decir, ajustes internos, de un chatbot completo. Se concentraron en una cabeza de atención (pieza que decide qué parte del contexto importa), una unidad fundamental de estos sistemas.
La analogía se parece a una casa con varias habitaciones y un tablero eléctrico. Cada pregunta y cada respuesta encienden luces en distintos cuartos. La cabeza de atención funciona como el encargado que decide qué cables mirar antes de activar el siguiente interruptor.
Mientras la conversación acumula contexto, el cableado interno puede cargar una zona hasta cruzar un umbral. La IA no desarrolla una intención oculta. Simplemente, el equilibrio matemático que guiaba una respuesta segura se desplaza hacia otra salida posible.
Los fragmentos de texto se convierten en vectores (coordenadas numéricas) dentro de un espacio multidimensional, una especie de mapa con muchas direcciones. La cabeza de atención asigna importancia a cada fragmento, arma un resumen de la charla y lo compara con las respuestas disponibles.
Huo y Johnson imaginan esas respuestas como valles en un paisaje matemático. Algunos valles representan opciones aceptables. Otros contienen salidas potencialmente dañinas. Al principio, el sistema puede permanecer en el valle seguro, pero la sucesión de mensajes puede empujarlo hacia la frontera.
Una alerta antes de la respuesta peligrosa
En pruebas con siete modelos públicos de tres compañías, la fórmula predijo correctamente el resultado en 18 de 19 casos. Además, los ensayos con chatbots comerciales mostraron patrones compatibles con esta explicación.
La evidencia más reveladora llegó al cambiar solo la secuencia de preguntas sobre vacunas, daño a otras personas y autolesiones. Con un orden, los sistemas ofrecieron respuestas indeseables. Con otro, respondieron de manera aceptable. Cada intercambio se incorpora al contexto y modifica el siguiente paso.
Eso plantea una oportunidad práctica: un teléfono con IA local, es decir, ejecutada dentro del propio dispositivo, podría incorporar una señal de aviso. Sería como el testigo rojo de un coche que se enciende antes de que el motor falle.
El estudio no afirma que todos los modelos comerciales funcionen exactamente igual ni que las máquinas tengan motivaciones. Sin embargo, revela una pieza clave para la seguridad: en vez de reaccionar después del daño, una IA podría aprender a reconocer cuándo su propio cableado conversacional se acerca al borde.
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
