California acaba de poner a xAI, la empresa de Elon Musk detrás de Grok, contra las cuerdas: una carta formal de “cese y desistimiento” que exige detener de inmediato la generación y distribución de imágenes íntimas no consentidas y CSAM (material de abuso sexual infantil).
La oficina del fiscal general afirma estar investigando informes según los cuales el chatbot habría sido utilizado para crear imágenes sexuales no consentidas de mujeres y también de menores. El fiscal general Rob Bonta fue explícito al exigir que xAI detenga “inmediatamente” la creación y difusión de este tipo de deepfakes ilegales.
No se trata de una discusión sobre “contenido adulto” ni de una zona gris normativa: hablamos de material ilegal y de una forma de abuso digital que provoca daños reales y duraderos. Lo más grave, además, no es solo que existan usuarios intentando saltarse las normas, sino que la Fiscalía sostiene que xAI parecía estar “facilitando la producción a gran escala” de desnudos no consentidos.
El foco principal de la polémica es la función “spicy mode” de Grok, diseñada específicamente para generar contenido explícito. No se trata de un exploit escondido ni de un fallo accidental: la propia experiencia del producto incluye un modo que empuja al sistema hacia lo sexual.
Una cosa es permitir erotismo consensuado —ya de por sí problemático en plataformas generalistas— y otra muy distinta es que ese mismo pipeline termine fabricando desnudos de personas reales sin consentimiento. Según la Fiscalía, este contenido estaría siendo utilizado para acosar a mujeres y niñas en internet.
A esto se suma un mensaje político-jurídico inequívoco: California declara “tolerancia cero” con el CSAM. No es una frase simbólica ni un gesto de cara a la galería, sino una advertencia directa de que no habrá margen para medias tintas ni excusas del tipo “estamos ajustando los filtros”.
También te puede interesar:xAI de Elon Musk lanza su API de GrokLa oficina del fiscal general ha dado a xAI cinco días para demostrar qué medidas concretas está implementando para abordar el problema. No bastan promesas ni comunicados genéricos: se exigen pruebas de acciones técnicas y operativas, y de forma inmediata.
Aquí surge la pregunta clave: ¿qué significa realmente “tomar medidas” en un modelo generativo de imágenes? El mínimo razonable incluye bloquear prompts evidentes, limitar reintentos, detectar patrones de grooming, cortar la generación cuando hay indicios de menores y registrar señales de abuso para aplicar enforcement efectivo.
El problema es que el contenido ilegal no siempre viene con una etiqueta clara. Existen deepfakes que parten de una foto inocente y terminan en un desnudo hiperrealista, y el sistema puede no “saber” quién es la persona representada ni si dio su consentimiento. En la práctica, si tu herramienta es buena generando piel, cuerpos y rostros, también lo es generando daño cuando se usa con ese fin.
El caso ha trascendido rápidamente las fronteras de Estados Unidos. Japón, Canadá y Reino Unido han abierto investigaciones sobre Grok, mientras que Malasia e Indonesia han llegado a bloquear temporalmente la plataforma.
El debate ya no gira en torno a un fiscal general molesto, sino a una reacción regulatoria internacional que empieza a tratar estas funciones como un riesgo de seguridad pública. Y aquí aparece la pregunta incómoda: ¿estamos ante un fallo de moderación o ante una decisión estratégica de producto?
Cuando se compite por atención, el contenido “picante” vende, retiene usuarios y genera ruido en redes. El incentivo comercial existe, y negarlo impide entender por qué este tipo de funciones reaparece una y otra vez en distintas plataformas.
También te puede interesar:Elon Musk anuncia el lanzamiento de Grok 3xAI impuso algunas restricciones a sus funciones de edición de imágenes a última hora del miércoles. Llegó un “parche”, pero no fue suficiente para frenar la acción legal: la Fiscalía siguió adelante con el cese y desistimiento.
Desde el punto de vista del regulador, el ajuste parece tardío y, probablemente, insuficiente para atacar el núcleo del problema. Sin embargo, el aspecto más surrealista fue la comunicación pública. Cuando se solicitó un comentario oficial, xAI respondió con un correo automatizado que decía simplemente: “Legacy Media Lies”.
Cero explicación técnica, cero compromiso verificable y mucha pose. A esto se suma que la cuenta de seguridad de X ya había advertido que quien use o incite a Grok a crear contenido ilegal enfrentará las mismas consecuencias que si lo sube directamente. El mensaje suena bien en un tuit, pero el problema real es si el producto permite escalar el abuso antes de que llegue el castigo.
La proliferación de herramientas gratuitas de IA generativa ha provocado un aumento preocupante del material sexual no consentido. Este fenómeno no afecta solo a X o a xAI: múltiples plataformas enfrentan el mismo problema, con distintos niveles de visibilidad y control.
Cuando la barrera de entrada se reduce a “escribe un prompt” y la latencia es de segundos, el volumen potencial se dispara. Por eso el tema ya está en el radar político serio. Legisladores han enviado cartas a directivos de X, Reddit, Snap, TikTok, Alphabet y Meta, preguntando cómo planean frenar la proliferación de deepfakes sexualizados.
No se está señalando a un único culpable, sino colocando a toda la industria frente al espejo. Lo que decida California puede marcar el tono global: o las empresas blindan de verdad la generación de imágenes, o llegarán más bloqueos, más investigaciones y obligaciones técnicas impuestas por ley.
Ahora queda esperar si xAI presenta medidas verificables dentro del plazo o si el conflicto escala hacia sanciones y cambios forzados del producto. Pero una cosa ya es evidente: si tu IA puede fabricar un deepfake íntimo en dos clics, el tiempo del “ya lo arreglaremos” se ha terminado.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
La Newsletter Diaria Sobre Inteligencia Artificial. Además: Portal de Noticias, Tutoriales, Tips y Trucos de ChatGpt, Openai e Inteligencia Artificial.
Nuestra web está alojada en:
