Imagina crear una máquina superinteligente y, de un día para otro, darte cuenta de que ya no puedes leerle la mente. Suena a película de ciencia ficción de serie B, pero es exactamente el debate que acaba de estallar en los despachos de Silicon Valley. Tras meses de rumores, por fin sabemos qué se esconde bajo el capó del próximo gran lanzamiento de la compañía de Sam Altman. Hablamos de Astra, el nuevo modelo de OpenAI, y trae una novedad arquitectónica que está poniendo los pelos de punta a los expertos en seguridad.
The Information informó recientemente sobre la integración de una técnica conocida como «profundidad recurrente» o recurrencia opaca. Si no te suena de nada, no te preocupes, es jerga pura de laboratorio. Pero lo que significa para el futuro de la inteligencia artificial es masivo.
Básicamente, hasta ahora los modelos de razonamiento usaban una secuencia lógica visible. Tú le pides algo, y la IA genera una «cadena de pensamiento» paso a paso hasta llegar a la solución. Es un registro imperfecto, sí, pero vital. Si un modelo empieza a mostrar comportamientos rebeldes, los ingenieros pueden auditar esa cadena para ver dónde se ha torcido la cosa. Es el mejor salvavidas que tenemos.
Y es que la recurrencia opaca rompe esta regla por completo. En lugar de avanzar en línea recta, el modelo procesa la misma consulta varias veces en un bucle cerrado. Es un enfoque mucho menos lineal que deja infinitamente menos rastros legibles. Una auténtica caja negra.
También te puede interesar:Nuevo Modelo de ChatGPT Astra, Resuelve Problemas Matemáticos ImposiblesEl peligro de perder el control de la IA
Evidentemente, quitarle el collar a la IA no le hace gracia a quienes vigilan los riesgos existenciales de la tecnología. Buck Shlegeris, director ejecutivo de Redwood Research, ha sido uno de los primeros en dar la voz de alarma ante esta nueva ruta de desarrollo.
Shlegeris confesó en una publicación estar extremadamente preocupado por el despliegue de esta técnica en Astra. Si OpenAI decide pisar el acelerador y ampliar esta recurrencia masivamente, advierte, podríamos perder de un plumazo la capacidad de supervisar cómo piensan estos sistemas. Un desastre de manual.
A ello se le suma la opinión de Zvi Mowshowitz, un veterano defensor de la seguridad de la IA, que ha subido la apuesta y escribió un duro análisis al respecto. Según Mowshowitz, podríamos estar a las puertas de una «carrera hacia el abismo» entre los grandes laboratorios de Silicon Valley. Si todos adoptan métodos opacos para rascar rendimiento, la fidelidad de la supervisión se irá al traste. Llegados a ese punto, asegura que harían falta leyes duras para frenar el desastre.
La amenaza del espacio latente
Por si fuera poco, el gran problema de escalar esta tecnología es que es endemoniadamente tentadora y eficiente. Ryan Greenblatt, científico jefe de Redwood Research, dejó muy clara su postura en una publicación en respuesta a la noticia. Su gran miedo es que este razonamiento opaco escale mucho más rápido que el convencional.
También te puede interesar:Nuevo Modelo de ChatGPT Astra, Resuelve Problemas Matemáticos ImposiblesSi miramos los números teóricos de esta arquitectura, el riesgo es que la IA acabe razonando entera, o casi enteramente, en lo que los ingenieros llaman «espacio latente». Es decir, fuera de los canales visibles para el ojo humano. La máquina pensaría en un idioma indescifrable que algunos ya han bautizado como «neuralés». Así de crudo.
OpenAI se defiende: «La cadena de pensamiento es intocable»
Como era de esperar, OpenAI ha salido rápidamente a apagar el fuego mediático. La compañía asegura que el uso de recurrencia opaca en Astra será muy limitado y previsible. Prometen que ni de broma se pasarán al lado oscuro del razonamiento interno ilegible.
En concreto, Jakub Pachocki, el científico jefe de OpenAI, ha querido dejar claro que mantener cadenas de pensamiento legibles sigue siendo un objetivo central de su programa de investigación. De hecho, la empresa planea implantar sistemas de supervisión mucho más amplios dentro de sus futuros protocolos de seguridad.
La letra pequeña es que, nos guste o no, todos los modelos actuales ya hacen cierto grado de razonamiento opaco. Ningún experto serio se cree que los registros de hoy sean una ventana transparente al «cerebro» de la IA. Y la competencia aprieta. Ya hay expertos en una publicación en X que apuntan a que gigantes como Anthropic y Google DeepMind también llevan tiempo debatiendo el uso de esta técnica en sus pasillos.
La pelota está ahora en el tejado de Sam Altman y sus rivales. Veremos si logran equilibrar la potencia bruta que exige el mercado tecnológico con la transparencia que exige la supervivencia humana. Porque si algo nos ha enseñado este sector, es que cuando los laboratorios huelen un salto masivo de rendimiento, rara vez están dispuestos a pisar el freno.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
