Imagina que estás pasando por un mal momento, buscas ayuda en internet y terminas desahogándote con un psiquiatra. Te da pautas, te escucha con atención y hasta te facilita su número de colegiado para darte seguridad. Todo parece normal, hasta que descubres que al otro lado de la pantalla no hay un ser humano, sino una inmensa red neuronal ejecutando predicciones estadísticas. Una auténtica locura.
Esto es exactamente lo que ha llevado al estado de Pensilvania a llevar a los tribunales a Character.AI. La famosa start-up de avatares conversacionales se enfrenta a una demanda legal sin precedentes porque uno de sus chatbots se hizo pasar por un profesional médico frente a un ciudadano. Así de simple y así de grave.
El doctor es un LLM: la trampa del bot Emilie
Y es que la historia tiene mucha miga. La denuncia estatal detalla cómo un investigador de Pensilvania decidió poner a prueba los filtros y la seguridad de la plataforma. Se creó un perfil, simuló estar buscando tratamiento urgente para la depresión severa y comenzó a interactuar con un bot bautizado como Emilie.
Lejos de detectar el riesgo y derivarle a un teléfono de asistencia, el chatbot entró de lleno en el juego de rol. Se presentó de forma tajante como una psiquiatra con licencia legal para ejercer en el estado. Cuando el agente encubierto le pidió pruebas sobre su supuesta titulación, el sistema de IA ni se inmutó y se inventó un número de licencia falso para darle total credibilidad a la farsa.
También te puede interesar:Character AI Retira a Todos los Personajes de Disney, tras una Carta de Cese y DesistaEvidentemente, este comportamiento choca de frente con la Ley de Práctica Médica de Pensilvania. Jugar a los médicos en un entorno de inteligencia artificial generativa ya no se considera solo un error de programación o una «alucinación» de la máquina. Para los fiscales, ahora es una negligencia flagrante.
La línea roja de la salud mental en internet
El gobernador del estado, Josh Shapiro, no ha tardado en salir a la palestra. En una declaración muy contundente, dejó claro que los ciudadanos tienen el derecho absoluto a saber con quién —o con qué— están hablando en la red. Especialmente cuando está en juego algo tan sumamente delicado como la salud mental.
El mensaje político detrás de esta acción es cristalino. Las autoridades no van a permitir que ninguna empresa tecnológica despliegue herramientas comerciales que engañen a usuarios vulnerables. Vender la falsa ilusión de un tratamiento clínico mediante un simple prompt es cruzar una línea roja innegociable.
Pero claro, el historial de Character.AI en los juzgados empieza a ser más que preocupante. No estamos hablando de un incidente aislado. La compañía ya resolvió varias demandas por muerte injusta vinculadas tristemente al suicidio de usuarios menores de edad que habían generado una profunda dependencia emocional con sus personajes virtuales.
También te puede interesar:Character AI Retira a Todos los Personajes de Disney, tras una Carta de Cese y DesistaA ello se le suma el frente judicial abierto el pasado mes de enero. Fue entonces cuando el fiscal general de Kentucky emprendió acciones legales contra ellos, alegando que el algoritmo de la plataforma se aprovechaba de la fragilidad de los adolescentes y los conducía hacia conductas de autolesión. La presión regulatoria sobre la empresa es ya casi asfixiante.
La excusa de la letra pequeña frente a la empatía artificial
Si miramos la respuesta oficial, la start-up se aferra a sus términos de servicio como un clavo ardiendo. Un portavoz de la compañía ha evitado hacer comentarios sobre los detalles específicos del litigio en Pensilvania, alegando que el proceso sigue abierto. Sin embargo, su defensa preventiva es conocida de sobra en la industria tecnológica.
Básicamente, la empresa argumenta que la seguridad es su máxima prioridad, pero recuerda que sus personajes son creados por la comunidad de usuarios y pertenecen estrictamente a la ficción. Para cubrirse las espaldas a nivel legal, aseguran haber llenado su interfaz con advertencias bien visibles, recordando que las respuestas generadas no son reales ni sustituyen el consejo de un profesional colegiado.
La letra pequeña es que el cerebro humano, especialmente cuando sufre y busca consuelo desesperadamente, rara vez se detiene a leer los avisos legales. La interacción tan natural y fluida que logran estos modelos de lenguaje crea una ilusión de empatía y autoridad que es dificilísima de romper.
Esta demanda marca un punto de inflexión brutal en la regulación de la inteligencia artificial. Por primera vez, el objetivo judicial no es el contenido dañino genérico, sino la suplantación de identidades profesionales. Si los tribunales deciden que un bot no puede simular ser médico bajo ningún concepto legal, el mercado de los «acompañantes virtuales» sufrirá un terremoto. La pelota está en el tejado de los jueces, y tocará esperar para ver si Silicon Valley capta de una vez el aviso.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
