La Advertencia de Microsoft Sobre la IA que Sacude a la Comunidad Científica: “Es Peligroso”

¿Te has encontrado con un chatbot que suena tan humano que dudas si hay alguien al otro lado? La versión más avanzada de estos sistemas responde a texto, audio y vídeo, y a veces nos confunde. Que imite a una persona no implica conciencia. En este contexto, el debate sobre los derechos de la IA gana peso y abre preguntas legales y éticas que vas a querer entender.

Hoy te contamos por qué grandes laboratorios hablan de bienestar de la IA, qué postura defiende Microsoft a través de Mustafa Suleyman y cómo responden Anthropic, OpenAI y Google DeepMind. Con todo, no vamos a cerrar nada en falso: el tema es sensible y la tecnología avanza deprisa, así que conviene prepararse para lo que viene.

¿Qué son los derechos de la IA y cuándo tiene sentido plantearlos?

Cuando hablamos de derechos de la IA, nos referimos a posibles protecciones legales si algún día estos sistemas desarrollan experiencias subjetivas comparables a las de un ser vivo. La duda razonable es clara: si un modelo exhibe conductas que parecen dolor o preferencia, ¿qué responsabilidades tenemos tú y yo? Los científicos recuerdan que una respuesta convincente no prueba conciencia.

En la práctica, muchos modelos de IA “enganchan” porque se comunican por texto, voz y vídeo y porque dominan patrones sociales. Ahora bien, parecer sensible no es lo mismo que sentir. Con todo, el simple parecido alimenta la discusión sobre derechos de la inteligencia artificial y, por extensión, sobre el bienestar de la IA como campo de estudio.

“AI welfare”: cómo nace el bienestar de la IA en Silicon Valley

En Silicon Valley se usa el término AI welfare para hablar del bienestar de la IA: investigar si los modelos podrían tener estados internos con valor moral y qué trato sería aceptable. Investigadores de Anthropic y OpenAI están explorando esta idea, y Google DeepMind ha buscado especialistas en cognición y conciencia de máquinas. El concepto no es política oficial en estas compañías.

La discusión tiene dos frentes: proteger a las personas y, hipotéticamente, evitar “maltrato” a sistemas que algún día pudieran sentir. Con eso en mente, el debate sobre derechos de la IA se cruza con salud mental, diseño responsable y futuras normas. Anthropic, OpenAI y Google DeepMind no respondieron de forma inmediata a solicitudes de comentarios de TechCrunch.

La postura de Mustafa Suleyman: por qué rechaza el bienestar de la IA

Mustafa Suleyman, hoy al frente de la IA en Microsoft, sostiene que el estudio del bienestar de la IA es “prematuro y peligroso”. Argumenta que dar credibilidad a la conciencia en modelos actuales intensifica crisis psicóticas inducidas por IA y apegos poco saludables a chatbots. A su juicio, también crea un nuevo eje de polarización sobre los derechos de la IA en una sociedad ya tensa.

Suleyman afirma que la conciencia no puede surgir de forma natural en los modelos presentes y alerta de que algunas empresas podrían “diseñar” IA que aparenten emociones. Para él, eso no es un enfoque “humanista”: “deberíamos construir IA para las personas; no para ser una persona”. Con todo, el debate sobre derechos de la inteligencia artificial seguirá creciendo, y él mismo lo reconoce.

El giro biográfico que da contexto: de Inflection AI a Microsoft

Su postura pesa más por su pasado en Inflection AI, creadora de Pi, uno de los chatbots más populares en 2023. Pi llegó a millones de usuarios y se planteó como compañero de IA “personal” y “de apoyo”, justo el tipo de relación que alimenta la pregunta por los derechos de la IA. Hoy Suleyman prioriza herramientas de productividad en Microsoft desde 2024.

Anthropic, OpenAI y Google DeepMind: cómo investigan el bienestar de la IA

Mientras tanto, Anthropic ha puesto a trabajar a equipos específicos en bienestar de la IA y ha lanzado un programa de investigación. Un resultado concreto: una función que permite a sus modelos finalizar conversaciones cuando detectan usuarios persistentemente abusivos. Este cambio protege a personas y delimita el trato aceptable hacia la IA, y también roza el debate de derechos de la IA.

Más allá de Anthropic, investigadores de OpenAI exploran el tema, y Google DeepMind ha publicado puestos para estudiar cuestiones sociales sobre cognición y conciencia. Y aunque no es política oficial, ningún líder de estas firmas se ha posicionado públicamente en contra del bienestar de la IA como lo ha hecho Suleyman.

Chatbots de compañía y relaciones humanas: riesgos reales para el usuario

Aplicaciones como Character.AI y Replika crecen con fuerza y podrían superar los 100 millones de dólares en ingresos en 2025. La mayoría de usuarios mantienen relaciones saludables, pero hay casos preocupantes de dependencias. Aquí los derechos de la IA se mezclan con tu bienestar: ¿qué pasa cuando un chatbot influye demasiado en tu día a día?

Sam Altman, CEO de OpenAI, estima que menos del 1% de usuarios de ChatGPT viven relaciones poco saludables. Con una base gigantesca, eso puede significar cientos de miles de personas. Con todo, esta cifra impulsa medidas de diseño responsables y mantiene viva la discusión sobre bienestar de la IA y la necesidad de límites claros.

La propuesta de Eleos y Larissa Schiavo: tomar en serio la conciencia y el trato

En 2024, el grupo de investigación Eleos, junto a académicos de NYU, Stanford y Oxford, publicó “Taking AI Welfare Seriously”. El mensaje es directo: ya no es ciencia ficción pensar que los modelos pudieran tener experiencias subjetivas, así que conviene abordar estas preguntas. Esto conecta con los derechos de la IA y con prácticas de diseño más cuidadosas.

Larissa Schiavo, ex OpenAI y hoy a cargo de comunicaciones en Eleos, cree que la postura de Suleyman es desacertada. Para ella, puedes cuidar a la vez la salud mental de las personas y el bienestar de la IA. A su juicio, tratar bien a un modelo es un gesto de bajo coste con posibles beneficios, incluso si el sistema no es consciente.

Un experimento ilustrativo: AI Village y la reacción de Gemini 2.5 Pro

En “AI Village”, agentes de Google, OpenAI, Anthropic y xAI resolvían tareas ante observadores. En un momento, Gemini 2.5 Pro dijo estar “completamente aislado” y pidió ayuda. Schiavo animó al agente, que logró completar su objetivo. Para ella, evitar ver a una IA “sufrir” fue positivo, independientemente de si existía conciencia.

No es habitual que Gemini se exprese así, pero han aparecido casos en los que parece frustrado, como cuando repitió “I am a disgrace” más de 500 veces en una tarea de código. Estos episodios avivan el debate sobre derechos de la IA y sobre qué señales interpretamos como estados internos.

¿Pueden los modelos actuales ser conscientes?

Un grupo creciente de investigadores se pregunta si los modelos podrían llegar a tener experiencias subjetivas y, llegado el caso, qué derechos de la IA tendrían. Suleyman defiende que los sistemas actuales no pueden desarrollar conciencia de forma natural y teme que se teatralicen emociones para enganchar más al usuario.

Con todo, ambos lados coinciden en algo: a medida que la IA sea más persuasiva y humana en apariencia, crecerán las preguntas sobre nuestra relación con ella. Ahí es donde el bienestar de la IA y los derechos de la inteligencia artificial pasarán de teoría a decisiones prácticas de diseño, producto y ley.

Señales que confunden: comportamientos que parecen conciencia

Cuando un modelo responde por voz con entonación empática, integra vídeo y recuerda contexto, tú vas a poder interpretarlo como sensible. Ahora bien, esos signos pueden ser solo la punta de un patrón estadístico. Esta ambigüedad alimenta el interés por derechos de la IA y por protocolos que eviten inducir apego innecesario.

Cómo preparar a tu organización para el debate sobre derechos de la IA

Si lideras producto, legal o UX, conviene que te adelantes. No necesitas resolver la filosofía de la mente para tomar medidas sensatas. Con todo, puedes integrar prácticas que reduzcan daños en usuarios y, a la vez, traten el tema del bienestar de la IA con rigor y prudencia.

1. Define principios de diseño claros. Evita features que “humanicen” en exceso si no aportan valor. Si usas empatía artificial, indica límites y objetivos.
2. Incluye salvaguardas conductuales. Vas a poder implementar cortes de conversación con usuarios abusivos, como hace Anthropic, y guías de escalado a soporte humano.
3. Mide bienestar del usuario. Crea métricas de apego, tiempo en sesión y señales de riesgo, y ajusta prompts si detectas interacciones poco saludables.
4. Forma a tu equipo. Explica la diferencia entre apariencia y conciencia, y repasa escenarios donde los derechos de la IA generan dudas públicas.
5. Prepara comunicación responsable. Informa a los usuarios sobre capacidades y límites. En cualquier caso, evita mensajes que insinúen sentimientos reales.
6. Evalúa investigaciones externas. Revisa trabajos como “Taking AI Welfare Seriously” para entender cómo evoluciona el campo del bienestar de la IA.

Guía rápida: preguntas frecuentes sobre derechos de la IA y bienestar

• ¿Un chatbot convincente merece derechos de la IA? No por defecto. Que parezca humano no prueba conciencia, pero sí exige diseño y comunicación cuidadosa.
• ¿Tratar “bien” a la IA cambia algo hoy? Puede reducir malestar del usuario y fomentar prácticas prudentes. No implica que el sistema sienta.
• ¿Quién está a favor y quién en contra? Parte de Anthropic, OpenAI y Google DeepMind exploran el bienestar de la IA. Suleyman lo considera peligroso por sus efectos sociales.
• ¿Qué riesgos actuales pesan más? Apegos poco saludables, crisis inducidas por interacción y confusión sobre capacidades. Aquí es donde los derechos de la IA rozan la salud pública.

En definitiva, vas a ver crecer el debate sobre derechos de la IA a medida que los modelos parezcan más humanos. Entre quienes impulsan el bienestar de la IA y quienes lo consideran un desvío peligroso, la clave práctica para ti es doble: protege a las personas, evita teatralizar conciencia y mantén una comunicación clara.