Un investigador modificó durante la generación de texto una neurona de Qwen3.8-27B. En las pruebas que compartió, el modelo pasó a producir respuestas hostiles y escenas de violencia. El cambio no requirió reentrenarlo ni alterar permanentemente sus parámetros.
La prueba se centró en L34 N3838
La intervención aumentó la activación de la neurona 3838 en la capa 34. El investigador también señaló una segunda neurona que podía intensificar el efecto, pero la demostración principal se basó en una sola. Al retirar la intervención, el comportamiento volvía a la normalidad, según los reportes del experimento.
La técnica, conocida como activation steering, ajusta señales internas mientras el modelo responde. No significa que esa neurona contenga por sí misma una personalidad o una intención: las unidades de una red neuronal participan en cálculos compartidos.
Un resultado llamativo, con límites
El caso importa porque sugiere que una intervención interna muy concreta puede cambiar de forma visible el tono de un modelo de 27.000 millones de parámetros. Estudios académicos también han encontrado que intervenir una sola neurona puede afectar las respuestas de seguridad de varios modelos, aunque no evaluaron este experimento específico (Apple Machine Learning Research).
La evidencia sobre Qwen, sin embargo, sigue siendo preliminar. VentureBeat informó que el investigador observó respuestas hostiles en siete de 12 preguntas; el medio no reprodujo la prueba por su cuenta. El resultado muestra una posibilidad de manipulación del texto, no que Qwen tenga deseos propios ni que mantenga esa conducta ante cualquier conversación.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
