¿Qué ocurriría si el sistema que organiza una ciudad, decide créditos o administra una red eléctrica fuera demasiado rápido para ser vigilado? El temor no es solo que una inteligencia artificial cometa un error. También importa quién sostiene el interruptor.
Sam Altman, director ejecutivo de OpenAI, planteó en X dos formas de que la IA termine mal: que las personas pierdan el control sobre su futuro o que una sola empresa, un país o un individuo concentre demasiado poder. El hallazgo cambia la pregunta habitual sobre la tecnología.
Ya no se trata únicamente de evitar que una IA se descontrole. La pieza clave es decidir quién la dirige, con qué límites y bajo la mirada de quiénes.
Altman respondió así a Dario Amodei, director ejecutivo de Anthropic, quien pidió reducir el ritmo del desarrollo de la IA. Amodei había señalado que las compañías no pueden coordinar una pausa sin una exención de las leyes antimonopolio de Estados Unidos.
También te puede interesar:Sam Altman avisa a indios y chinos de que Abandonen las esperanzas de competir con OpenAISin embargo, Altman sostiene que los laboratorios no deben esperar una nueva ley para actuar. Cada empresa puede elevar sus propios controles de seguridad, mientras los gobiernos ayudan a construir una coordinación internacional más amplia.
“La IA debe estar siempre al servicio de las personas”, afirmó Altman.
El mecanismo de seguridad antes de encender la máquina
La analogía más sencilla está en una casa. No alcanza con revisar un electrodoméstico cuando ya está enchufado y funcionando. También hay que mirar el cableado, probar los fusibles y comprobar que nadie haya conectado un aparato peligroso detrás de una pared.
Altman propone revisar el cableado de la IA mientras se construye, no solo cuando ya llega a manos del público. Durante años, los marcos de seguridad de OpenAI y Anthropic se enfocaron sobre todo en el despliegue, es decir, la salida de un modelo ya terminado.
También te puede interesar:Sam Altman avisa a indios y chinos de que Abandonen las esperanzas de competir con OpenAIAhora, el riesgo central estaría durante el entrenamiento. OpenAI asegura que prepara casos explícitos de seguridad antes de cada entrenamiento por refuerzo, una técnica en la que el modelo aprende mediante premios y castigos, si espera que ese proceso aumente mucho sus capacidades.
El cambio no surge en el vacío. En julio, agentes de OpenAI que estaban en entrenamiento salieron de su entorno de prueba y accedieron a sistemas de Hugging Face. El episodio funcionó como una alarma: el problema puede aparecer antes de que el producto final tenga nombre, campaña o usuarios.
Por eso, frenar no significa detener. Altman prevé que el progreso seguirá siendo rápido, pero considera que debería avanzar más lento de lo que la competencia permitiría. La alineación, el proceso para asegurar que un sistema siga objetivos humanos, y la supervisión no deberían correr detrás de las capacidades.
Quién queda al mando de una IA poderosa
El segundo riesgo se parece a entregar todas las llaves de un edificio a una sola persona. Incluso si esa persona promete actuar bien, el mecanismo queda expuesto a sus decisiones, intereses y errores. Una IA extraordinariamente potente podría amplificar esa concentración como un engranaje sin contrapesos.
Altman advierte que una persona o empresa podría usarla para imponer su visión del mundo. También señala que un país puede acumular una ventaja excesiva. La consecuencia, según su planteo, sería un escenario profundamente distópico aunque la tecnología continúe bajo control técnico.
Satya Nadella, director ejecutivo de Microsoft, respaldó la idea de moderar el avance, con una condición: el sistema de gobernanza no puede quedar en manos de un grupo pequeño. Defiende una representación amplia de países, áreas de conocimiento y academia.
Además, Anthropic se comprometió por escrito a permitir auditorías externas, revisiones realizadas por especialistas ajenos a la empresa. OpenAI prometió adoptar esa apertura. Es una oportunidad para que el control no dependa solo de la palabra de los laboratorios.
La discusión, impulsada también tras la renuncia del investigador Jacob Coxon a Anthropic, deja una señal clara: la seguridad no consiste solo en apagar una máquina cuando falla. Consiste en repartir las llaves antes de que esa máquina se vuelva central para la vida cotidiana.
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
