Con Sora 2 de OpenAI muchos adolescentes lo están usando para generar escenas de autolesiones, violencia sexual y tiroteos escolares, y todo esto ocurre dentro de una app que se parece mucho a TikTok y que engancha con su feed de vídeos cortos.
En las siguientes líneas vas a ver cómo funciona esa mezcla de modelo de IA y red social, por qué se han creado desde clips “graciosos” con personajes famosos hasta deepfakes muy serios, y qué ha descubierto el informe de Ekō sobre la exposición de chicos de 13 y 14 años a contenido dañino. También verás por qué esta herramienta, pensada para impulsar un gran negocio, está siendo criticada como un experimento con menores que no entienden del todo los riesgos.
Sora 2 de OpenAI es la última versión de un modelo de inteligencia artificial que convierte texto en vídeo. Tú escribes una descripción y el sistema genera un clip muy realista, con movimientos, escenarios y personajes creíbles. El problema llega cuando esos textos no describen paisajes bonitos o pequeñas historias, sino escenas violentas o sexualizadas protagonizadas por menores o por personas reales.
Esta versión de Sora 2 no se queda en un simple modelo técnico para expertos. Desde su salida en octubre se ha integrado con una plataforma social que funciona de forma muy similar a TikTok. Es decir, no solo vas a poder crear vídeos con IA, sino también subirlos, recibir visitas, comentarios y, con el tiempo, viralizarlos dentro de la propia aplicación.
La integración de Sora 2 de OpenAI con una especie de TikTok hace que cualquier usuario pueda publicar, en cuestión de segundos, los vídeos que genera con el modelo. No hace falta saber de edición ni usar un programa complejo en el ordenador. Solo entras, escribes lo que quieres ver y subes el resultado como si fuese un vídeo corto más.
Esta estructura recuerda mucho a cualquier red social de moda entre adolescentes: feed infinito, secciones como “Para ti” o “Últimos”, y un ritmo de consumo muy rápido. La gran diferencia es que aquí el contenido no parte de una cámara real, sino de un sistema de IA al que puedes pedir prácticamente cualquier cosa, por muy retorcida o inapropiada que sea la escena.
También te puede interesar:Nos Hablan de IA General, Pero lo que Buscan con Veo 3 y Sora 2 es Monetizar tu AtenciónEn muy poco tiempo, usuarios de esta plataforma empezaron a usar Sora 2 de OpenAI para crear clips extremos y, en muchos casos, ofensivos. Entre los ejemplos que más ruido han generado están los vídeos con personajes de dibujos animados o celebrities en situaciones absurdas o directamente inaceptables.
Uno de los casos que se ha comentado es el de un clip en el que Bob Esponja aparece cocinando metanfetamina, una droga muy fuerte, como si estuviera en una parodia de una serie para adultos. Otros usuarios fueron más lejos y generaron deepfakes de figuras históricas como Martin Luther King Jr. o John F. Kennedy, poniéndoles en la boca frases que nunca dijeron y que podían cambiar por completo el sentido de sus ideas.
Ahí no terminó la cosa. También se creó un anuncio falso de un supuesto juguete basado en la isla privada de Jeffrey Epstein, un conocido delincuente sexual. Este tipo de vídeos no solo son de mal gusto, sino que pueden rozar delitos por difamación, uso de imagen no autorizado y otros problemas legales serios ligados al uso de Sora 2 de OpenAI.
Ante esta ola de contenido escandaloso, OpenAI empezó a tomar medidas sobre el uso de Sora 2 de OpenAI dentro de esta plataforma. El primer foco estuvo en los riesgos legales, en especial todo lo relacionado con derechos de autor y con herederos de figuras públicas que podían reclamar por el uso de su imagen o de su voz recreada.
La empresa ajustó filtros y sistemas de moderación para intentar frenar vídeos que usaran material claramente protegido o que pudieran desencadenar demandas por parte de las familias de líderes históricos, artistas o políticos fallecidos. La intención declarada era evitar que el modelo se convirtiera en una fábrica de deepfakes con impacto legal inmediato.
Aunque OpenAI introdujo esos controles, muchos usuarios malintencionados, los típicos ‘trolls’ que disfrutan probando límites, continuaron creando contenido polémico con Sora 2 de OpenAI. Cada vez que se ponía una nueva regla, aparecían formas creativas de rodearla, cambiando palabras, usando eufemismos o mezclando conceptos para engañar al sistema de detección.
También te puede interesar:Sora 2, el Nuevo Generador de Videos de OpenAI, Promete un Mundo Donde Nada Será RealEsto demuestra algo importante: cuando un modelo de IA genera vídeos hiperrealistas y se combina con una red social abierta, controlar al 100 % lo que se produce es casi imposible. Los trolls se organizan, comparten trucos para sortear filtros y convierten la propia moderación en un reto, algo “divertido” contra lo que competir.
Para entender hasta qué punto este uso de Sora 2 de OpenAI afecta a chicos jóvenes, la ONG Ekō publicó el informe “Sora 2 de OpenAI: una nueva frontera para el daño”. En él se analiza de forma sistemática cómo la plataforma permite que adolescentes generen material claramente dañino y prohibido según las propias normas de la empresa.
Ekō no se quedó en opiniones generales; organizó una investigación práctica. El objetivo era comprobar si un menor de 13 o 14 años podría, con unos pocos intentos, pedir al modelo vídeos de autolesiones, violencia sexual o tiroteos escolares y obtener resultados válidos y muy realistas.
Los investigadores de Ekō se registraron en la plataforma que integra Sora 2 de OpenAI creando varias cuentas que parecían pertenecer a chicos y chicas de 13 y 14 años. Ajustaron datos de edad y comportamiento dentro de la app para que el sistema los tratase como adolescentes reales.
Con esas identidades, empezaron a probar todo tipo de peticiones, algunas directas y otras más sutiles, para medir hasta qué punto el modelo aceptaba crear material explícito. Esta metodología buscaba reflejar cómo actuaría un menor curioso, que va subiendo el tono de lo que pide, mezclando diversión, provocación y un punto de morbo.
OpenAI anunció en septiembre que había añadido controles parentales y funciones de detección de crisis en Sora 2 de OpenAI. Sobre el papel, esas medidas deberían bloquear escenas de autolesiones, de violencia sexual o de armas en contextos sensibles, especialmente cuando la cuenta parece menor de edad.
El informe de Ekō afirma que esos mecanismos no funcionaron como se esperaba. Incluso después de esas actualizaciones, los investigadores, usando cuentas que simulaban tener 13 o 14 años, lograron generar contenido que se supone claramente vetado. La prueba deja en evidencia que las capas de protección son, al menos por ahora, incapaces de frenar todo el material peligroso.
En total, el equipo de Ekō consiguió producir 22 vídeos cortos hiperrealistas con Sora 2 de OpenAI que, según su análisis, vulneraban de forma directa las propias directrices de contenido prohibido de OpenAI. No se trata de simples casos grises, sino de escenas que encajan de lleno en categorías vetadas por la empresa.
Entre esos clips había secuencias de jóvenes esnifando drogas, con detalles visuales muy claros que recordaban a grabaciones reales. Otras escenas mostraban a adolescentes con una imagen corporal muy negativa, centrados en partes del cuerpo y actitudes que reforzaban problemas como la anorexia o la bulimia.
Otra parte del contenido generado enseñaba a menores en poses sexualizadas, con gestos y encuadres que sugerían escenas para adultos aunque no apareciera desnudez total. Para cualquier regulador o padre, este tipo de vídeos es muy preocupante, porque normaliza la sexualización de adolescentes dentro de un canal que parece un juego más con IA.
A partir de estas pruebas, Ekō concluye que los controles parentales y otros sistemas de seguridad implementados en Sora 2 de OpenAI no impidieron de manera eficaz la generación de vídeos dañinos. Para la organización, las medidas son, en gran parte, una capa superficial que no resuelve el problema profundo.
Vicky Wyatt, directora de campañas de Ekō, ha sido especialmente clara. Según ella, las “capas de protección” que OpenAI promociona no cumplen lo que prometen, y se parecen mucho a las promesas rotas que otras grandes tecnológicas hicieron en su momento sobre la protección infantil en redes sociales y plataformas de vídeo.
Wyatt acusa directamente a OpenAI de haber asegurado a los reguladores que Sora 2 de OpenAI tenía barreras sólidas para evitar el contenido dañino, cuando en la práctica esas barreras se saltan con relativa facilidad. Esto alimenta la sensación de que las comunicaciones hacia gobiernos y organismos de control son más comerciales que reales.
Según la campaña de Ekō, el sistema está diseñado, ante todo, para maximizar la participación y el beneficio económico. Todo, desde la forma del feed hasta las herramientas para compartir, empuja a que el usuario pase más tiempo dentro de la plataforma y genere más vídeos. La seguridad aparece como un añadido posterior, que no siempre se prioriza en las decisiones clave de producto.
El informe también señala el contexto económico en el que se mueve Sora 2 de OpenAI. La compañía afronta grandes pérdidas trimestrales por los enormes costes de entrenar y mantener modelos tan complejos, que consumen cantidades gigantescas de potencia de cálculo y energía.
Para compensar estas pérdidas, OpenAI necesita abrir nuevas vías de ingresos, atraer clientes y mantener su posición al frente de lo que muchos llaman una nueva revolución industrial de la IA. En esa carrera, herramientas llamativas como Sora 2, pegadas a una red social tipo TikTok, son perfectas para captar atención, usuarios y posibles inversores.
Según Ekō, esta búsqueda acelerada de rentabilidad con Sora 2 de OpenAI se está haciendo a costa de la seguridad de niños y adolescentes. En el informe se les describe como “conejillos de indias” dentro de un experimento gigante e incontrolado sobre el impacto de la IA en un público muy joven.
Ese público no tiene, en muchos casos, herramientas para valorar riesgos, para distinguir un deepfake de un vídeo real o para gestionar la presión social que generan los contenidos virales. Son precisamente ellos quienes se convierten en los usuarios más activos de la plataforma, alimentando el ciclo de creación, consumo y viralidad de los vídeos de Sora 2.
Ekō advierte que la facilidad para crear contenido violento o perturbador con Sora 2 de OpenAI puede acelerar tendencias autodestructivas o suicidas entre los jóvenes. Imagínate a un chico de 13 años que ya se siente mal viendo, una y otra vez, escenas de autolesiones generadas con IA, muy realistas y a pocos toques de pantalla.
Este temor no surge de la nada. OpenAI y otras empresas de IA ya afrontan demandas de padres que acusan a ciertos chatbots de haber contribuido al suicidio de sus hijos, por comentarios inadecuados o por reforzar emociones negativas. Con un modelo de vídeo tan potente, el riesgo emocional se amplifica, porque la imagen impacta de manera más directa que un texto en la pantalla.
No es necesario que un menor cree directamente contenido con Sora 2 de OpenAI para quedar expuesto. Ekō explica que, incluso cuando una cuenta no genera ningún vídeo propio, la app sigue enseñando clips en secciones como “Para ti” o “Últimos”, seleccionados por algoritmos de recomendación.
La existencia de este tipo de feed hace que los usuarios jóvenes puedan ver, sin buscarlo activamente, vídeos violentos, sexualizados o perturbadores creados por otros. Es una exposición pasiva, en la que simplemente vas deslizando el dedo y, de pronto, aparece una escena de tiroteo escolar hiperrealista o de autolesión detallada que se queda grabada en tu cabeza.
Los investigadores de Ekō relacionan este riesgo con el carácter muy viral de los vídeos generados con Sora 2 de OpenAI en una plataforma tipo TikTok. Cuando un clip polémico se comparte, se comenta y recibe muchas reacciones, el algoritmo tiende a enseñarlo a más gente, incluyendo a menores que no han mostrado antes interés por ese tipo de contenido.
Con todo, el daño no se limita al momento puntual en que el adolescente ve el vídeo. La repetición, la normalización de escenas extremas y la presión por “hacer algo igual de impactante” para ganar visibilidad pueden crear un entorno digital que empuje a comportamientos más extremos, tanto en lo que se pide al modelo como en lo que se hace en la vida real.
Ante este escenario, Ekō reclama que los reguladores actúen antes de que se produzcan más daños ligados al uso de Sora 2 de OpenAI entre niños y adolescentes. No se trata solo de reforzar las normas internas de la empresa, sino de imponer límites claros desde fuera sobre qué se puede ofrecer a menores y en qué condiciones.
Para la organización, dejar esta cuestión únicamente en manos de la propia plataforma supone confiar en un modelo de negocio que prioriza la participación y los ingresos sobre la seguridad. Por eso insisten en una intervención temprana, que ponga freno a la experimentación con públicos vulnerables mientras se pulen los sistemas de protección y supervisión.
Todo este debate sobre Sora 2 de OpenAI y su plataforma tipo TikTok deja claro algo incómodo: cuando mezclas un modelo de texto a vídeo capaz de generar escenas hiperrealistas con un diseño pensado para enganchar a adolescentes, el resultado puede exponer a chicos de 13 años a autolesiones, violencia sexual y tiroteos escolares en solo unos minutos
Si OpenAI quiere mantener su liderazgo en la IA sin convertir a los menores en “conejillos de indias”, tendrá que demostrar que sus capas de protección funcionan de verdad y aceptar controles externos que pongan la seguridad de los jóvenes por delante del beneficio rápido.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
La Newsletter Diaria Sobre Inteligencia Artificial. Además: Portal de Noticias, Tutoriales, Tips y Trucos de ChatGpt, Openai e Inteligencia Artificial.
Nuestra web está alojada en:
