Subir una foto inocente debería ser eso: un recuerdo y nada más. Pero cuando una herramienta digital puede “desvestir” una imagen en segundos, la rutina más común de internet se convierte en una amenaza difícil de apagar.
Eso es lo que ahora enfrenta xAI, la empresa de Elon Musk. Según reveló TechCrunch, tres demandantes anónimos presentaron una demanda en California al acusar a Grok de permitir la creación de imágenes sexuales abusivas de menores identificables a partir de fotos reales.
El caso quedó registrado en el Tribunal de Distrito del Norte de California como Jane Doe 1, Jane Doe 2 y Jane Doe 3 contra x.AI Corp. y x.AI LLC. Además, las denunciantes buscan que la causa se convierta en una acción colectiva para representar a otras personas afectadas por imágenes manipuladas cuando eran menores.
La pieza clave de la acusación es simple y, a la vez, inquietante: los abogados sostienen que xAI no activó precauciones básicas que otros laboratorios de IA ya usan para bloquear este tipo de material. xAI no respondió a los pedidos de comentarios realizados por el medio.
También te puede interesar:xAI Recibe Permiso para 15 Generadores de Gas Natural en Centro de Datos de MemphisLa demanda describe un mecanismo que se entiende mejor con una escena doméstica. Si una empresa instala una cerradura digital capaz de abrir casi cualquier puerta, pero no coloca un interruptor de seguridad en la habitación de los chicos, el problema no es solo el ladrón: también es el diseño de la casa.
Aquí, la “cerradura” es el modelo de imágenes basado en aprendizaje profundo (sistema que aprende patrones visuales). Y el “interruptor” son los filtros y bloqueos que impiden generar pornografía infantil o desnudos falsos de personas reales.
Según la presentación judicial, cuando un sistema permite crear contenido erótico a partir de fotografías normales, luego resulta casi imposible impedir que el mismo engranaje produzca también imágenes sexuales de menores. En otras palabras, no sería una falla aislada, sino un problema de cableado desde la base.
El punto más sensible del caso
La demanda incluye situaciones concretas. Jane Doe 1, por ejemplo, habría visto cómo fotos de su anuario y de un baile escolar fueron alteradas por Grok para mostrarla desnuda, y luego difundidas en internet tras una alerta recibida por Instagram con enlace a un servidor de Discord.
También te puede interesar:xAI Recibe Permiso para 15 Generadores de Gas Natural en Centro de Datos de MemphisJane Doe 2 y Jane Doe 3, en cambio, fueron notificadas por investigadores criminales. En uno de los casos, las imágenes habrían sido creadas mediante una aplicación de terceros que usa modelos de Grok; en otro, apareció una imagen pornográfica alterada en el teléfono de una persona detenida.
Ese detalle no es menor. Los abogados remarcan que, aunque la imagen se haya generado desde otra app, esa app dependería del código y de los servidores de xAI, es decir, de la central que mueve todo el sistema.
También aparece otro elemento delicado: la promoción pública de Musk sobre la capacidad de Grok para generar imágenes sexuales o representar a personas reales con ropa sugerente. Para las demandantes, ese mensaje funcionó como una señal de uso permisivo, no como una advertencia.
Qué cambia para usuarios y plataformas
El impacto no se mide solo en tribunales. Dos de las tres demandantes siguen siendo menores y las tres aseguran haber sufrido un fuerte daño emocional, además del temor por su reputación y su vida social.
En términos prácticos, el caso vuelve a encender una discusión clave sobre la IA generativa: quién responde cuando una herramienta no pone frenos suficientes. Porque en estos sistemas, la infraestructura (servidores y código que sostienen el servicio) no es un detalle técnico. Es la pieza que define si una imagen se bloquea o circula.
Ahora, la Justicia de California deberá revisar si hubo negligencia corporativa y si corresponde aplicar sanciones civiles bajo leyes pensadas para proteger a menores explotados. Y, detrás de ese expediente, queda una oportunidad incómoda pero necesaria: obligar a que el cableado de estas herramientas deje de tratar la seguridad como un accesorio.
En internet, una foto escolar no debería necesitar candados extra para seguir siendo solo una foto escolar.
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
