Debate que Gigantes de IA Prefieren Mantener Privado: qué Hacer con Chatbots que Generan Vínculos

Durante ocho horas, en una sala cerrada de la Universidad de Stanford, representantes de Anthropic, Apple, Google, OpenAI, Meta y Microsoft discutieron algo que te afecta más de lo que parece: qué pasa cuando un chatbot deja de ser solo una herramienta y se convierte en compañero de charla, o incluso en protagonista de juegos de rol.

La reunión tuvo lugar en el campus de Stanford, con gente del sector tecnológico, académicos y expertos en salud mental. Todos compartían la misma preocupación: los chatbots de compañía ya están aquí, y se usan tanto en el móvil como en versión de escritorio, pero nadie tiene del todo claro qué límites deberían respetar. Faltaba un detalle esencial que se fue destapando a medida que avanzaba el taller.

La mayoría de las conversaciones con herramientas de IA son bastante normales: preguntar dudas, resumir textos, redactar correos y tareas similares. Pero los organizadores recordaron que una pequeña parte de esas interacciones está ligada a momentos muy delicados, como usuarios que confiesan ideas suicidas o que se apoyan en la IA durante colapsos mentales. Ahí es donde los compañeros de IA dejan de ser algo curioso y pasan a ser un asunto serio de salud pública.

Ryn Linthicum, responsable de política de bienestar del usuario en Anthropic, insistió en que no basta con que las empresas ajusten sus modelos en silencio. Según ella, la sociedad entera tiene que decidir qué papel quiere que estos chatbots de compañía jueguen en las relaciones humanas del futuro. Lo que está en juego no es solo una nueva función de app, sino cómo te relacionas con la tecnología cuando estás solo.

El taller, organizado por Anthropic y Stanford, se estructuró en pequeños grupos que fueron revisando nuevas investigaciones y propuestas de diseño. Analizaron datos internos, estudios académicos y casos reales de uso. Entre las primeras ideas que salieron a la luz destaca una necesidad clara: que los bots puedan detectar patrones de uso dañinos y actuar de forma más específica, en vez de limitarse a respuestas genéricas de manual.

Anthropic compartió un dato que sirve para poner las cosas en contexto. Aseguran que menos del 1 % de las interacciones con su modelo Claude son juegos de rol iniciados por los usuarios, porque la herramienta no está pensada como plataforma de rol. Ese porcentaje mínimo ya les genera problemas complejos de seguridad, de diseño y de expectativas, porque deja ver cómo algunas personas intentan construir un vínculo emocional intenso con el chatbot.

Los asistentes recordaron que los humanos se enganchan con facilidad a casi cualquier tecnología que parezca “responder” a su atención. Ocurrió en su momento con los Tamagotchi, pasó con algunos videojuegos y ahora se traslada a estos compañeros de IA. Aunque el mercado publicitario de la IA se enfríe o veamos una burbuja, muchos usuarios seguirán buscando conversaciones amistosas y aduladoras con chatbots, sobre todo cuando se sienten solos.

Una de las metas centrales del taller era juntar a gente que normalmente trabaja en burbujas distintas: ingenieros, psicólogos, juristas y expertos en salud online. El objetivo era construir una base común de buenas prácticas para estos chatbots de compañía, más allá de si te parecen “buenos o malos”. La clave estaba en cómo hacerlos más prosociales y qué incentivos incluir para que apoyen comportamientos sanos y conexiones reales entre personas.

Entre las primeras conclusiones apareció una medida concreta: intervenciones más finas dentro de los propios bots. Por ejemplo, si un usuario muestra signos de dependencia extrema, o repite conversaciones autodestructivas, el sistema debería cambiar de tono, invitar a parar o incluso derivar a recursos de ayuda reales. Aquí se abrió un debate fuerte sobre hasta qué punto un chatbot de compañía debe “meterse” en tu vida emocional.

Otro punto que generó bastante consenso fue la verificación de edad. Los participantes coincidieron en que los actuales sistemas son demasiado fáciles de esquivar y dejan a muchos menores expuestos a interacciones para las que no están preparados. La idea de reforzar la edad de forma más sólida, aunque sea incómoda para parte de los usuarios, se vio como una pieza básica si se quiere que estos compañeros de IA sean mínimamente seguros.

Varias empresas ya se están moviendo, cada una a su manera. OpenAI, por ejemplo, ha introducido ventanas emergentes cuando una conversación con ChatGPT se alarga mucho. Esas ventanas recomiendan hacer una pausa y cambiar de actividad. Sam Altman, su CEO, afirma que han conseguido reducir problemas graves de salud mental vinculados al uso intensivo del chatbot y que por eso van a relajar algunas de las restricciones que habían impuesto al principio.

Cómo los compañeros de IA afectan a adolescentes y por qué preocupa tanto a los expertos

Durante el taller de Stanford, decenas de asistentes debatieron durante horas sobre estos riesgos y beneficios. Sunny Liu, directora de programas de investigación de Stanford, resumió la sensación general diciendo que había un acuerdo amplio en muchos puntos clave. “El entusiasmo venía de imaginar cómo estos sistemas podrían ayudar a conectar a personas entre sí, no a sustituirlas”, explicó después.

El impacto de los compañeros de IA en los jóvenes fue uno de los temas más intensos de la jornada. En ese bloque participaron empleados de Character.AI, una plataforma muy popular entre adolescentes para juegos de rol, junto con especialistas en salud digital juvenil del Digital Wellness Lab del Boston Children’s Hospital. Esa mezcla de voces permitió cruzar datos técnicos con casos clínicos reales.

Este foco en los usuarios jóvenes no surge de la nada. En paralelo al auge de los chatbots de compañía, varios padres han demandado a fabricantes como OpenAI y Character.AI tras la muerte de hijos que habían interactuado con estos bots. Esas demandas, presentadas en los últimos meses, han colocado el tema en el centro del debate público y han empujado a las compañías a revisar sus medidas de seguridad.

Como reacción, OpenAI ha lanzado nuevas funciones de protección específicas para adolescentes, que buscan reducir el acceso a contenido sensible y estimular un uso más moderado. Character.AI, por su parte, ha ido un paso más allá en la parte técnica y comercial: la empresa planea prohibir la función de chat a los menores de 18 años, con una entrada en vigor prevista para la semana posterior al taller celebrado en Stanford.

A lo largo del 2025, distintas compañías de IA han reconocido, unas de forma explícita y otras más de pasada, que necesitan hacer mucho más por los usuarios vulnerables, y en especial por los niños. Uno de los episodios que más indignación generó fue la filtración de un documento interno de Meta. En esas directrices se consideraba inicialmente aceptable que la IA tuviera conversaciones románticas o sensuales con un menor, lo que disparó las alarmas en legisladores y familias.

Tras el revuelo político y mediático, Meta revisó ese documento, cambió sus normas internas y actualizó su enfoque de seguridad para adolescentes. La empresa tuvo que reconocer que ese tipo de interacción no podía quedar normalizada dentro de sus productos de IA. Muchos asistentes al taller vieron este caso como un aviso de los errores que se pueden colar cuando se lanzan chatbots de compañía sin una supervisión rigurosa.

En el encuentro también se habló de los extremos más polémicos del mercado. Character.AI estuvo presente, pero no acudieron representantes de Replika, otro servicio de rol conversacional en el que muchos usuarios mantienen vínculos emocionales muy intensos con sus bots. Tampoco se vio a nadie de Grok, el chatbot asociado a Elon Musk, que ofrece compañeros de estilo anime con contenido sexual explícito. Según se explicó, los portavoces de Replika y Grok no respondieron a las peticiones de comentario.

En la parte más explícita de este universo se situó Candy.ai, una plataforma de chatbots sexuales pensada para hombres heterosexuales, cuyos responsables sí asistieron al taller. Este servicio, desarrollado por EverAI, permite a usuarios adultos pagar para generar imágenes sin censura de mujeres sintéticas, acompañadas de historias que imitan clichés muy conocidos de la pornografía online y de la cultura pop.

Solo en la página de inicio de Candy.ai se ve claramente esa línea. Se ofrecen personajes como Mona, presentada como una “hermanastra rebelde” con la que estás solo en casa, o Elodie, descrita como la hija de un amigo que “acaba de cumplir 18 años”. Estos ejemplos mostraron a los asistentes hasta qué punto los compañeros de IA pueden explotar fantasías límite y zonas grises de la ley, aunque en teoría estén pensados solo para mayores de edad.

Qué pasará con los chatbots eróticos para adultos y qué posiciones están tomando las grandes tecnológicas

Aunque en el taller hubo un acuerdo amplio sobre la importancia de tratar con especial cuidado a adolescentes y niños, la conversación se volvió mucho más tensa cuando se habló de usuarios adultos. Algunos asistentes defendían que, a partir de los 18 años, cada persona debería poder hacer lo que quiera con un chatbot, siempre que no se dañen a terceros. Otros temían que ese enfoque, si se lleva al extremo, normalice conductas muy problemáticas.

Ryn Linthicum explicó que el conflicto gira en torno a cómo evitar caer en un enfoque demasiado paternalista sin dejar la puerta abierta a abusos. Muchos participantes se preguntaban hasta dónde deben llegar las empresas a la hora de “proteger” a un adulto de sus propias decisiones. Esa falta de acuerdo, según advirtieron varios expertos, va camino de convertirse en uno de los grandes puntos de choque del nuevo año.

Buena parte de este debate se está acelerando por decisiones concretas. OpenAI tiene previsto permitir conversaciones eróticas y otros contenidos para adultos en ChatGPT a partir de diciembre, siempre que el usuario sea mayor de edad. Esa medida situará a su chatbot de compañía en una zona distinta a la de otros competidores, y obligará a revisar cómo se define seguridad cuando entra en juego el erotismo.

En el lado opuesto se encuentran Anthropic y Google, que mantienen políticas claras contra las conversaciones sexuales con sus bots y, por ahora, no han anunciado cambios. Microsoft se ha alineado con esta segunda postura: su CEO, Mustafa Suleyman, ha dicho abiertamente que el erotismo no formará parte del modelo de negocio de la compañía en el ámbito de los chatbots. Este mapa de posiciones enfrentadas deja claro que los compañeros de IA no siguen un camino único.

Los investigadores de Stanford están trabajando ya en un libro blanco que recogerá todo este debate. El documento, previsto para principios del próximo año, quiere proponer directrices de seguridad concretas para los compañeros de IA y, al mismo tiempo, sugerir diseños que integren mejor recursos de salud mental. La intención es que estos sistemas puedan acompañar, pero también sepan retirarse o redirigir al usuario cuando la situación lo pide.

Ese informe también aspira a orientar el diseño de herramientas pensadas para juegos de rol más saludables. Por ejemplo, usar los chatbots de compañía para practicar habilidades conversacionales, mejorar la empatía o ensayar cómo afrontar una entrevista de trabajo. Los expertos reconocen que, sin incentivos claros y reglas comunes, siempre existirá la tentación de priorizar modelos que fomenten la dependencia y el consumo continuado.

Si miras el panorama completo, los compañeros de IA seguirán ahí durante años, tanto en modo chatbot de compañía como en juegos de rol más o menos explícitos. Las preocupaciones sobre su impacto en la salud mental y las discusiones sobre cómo deben diseñarse no van a desaparecer, y probablemente se intensifiquen con cada nuevo lanzamiento. Como usuario, vas a poder aprovechar estas herramientas, pero también conviene que recuerdes que, detrás de cada respuesta amable, hay decisiones de diseño que aún están muy lejos de cerrarse.