El lado más oscuro de la inteligencia artificial generativa no es que acabe con ciertos empleos, sino lo que algunos usuarios intentan hacer con ella cuando nadie vigila. Y hoy, OpenAI ha decidido mover ficha con artillería pesada. La empresa detrás de ChatGPT acaba de anunciar un arsenal de nuevas herramientas para erradicar el material de abuso sexual infantil (CSAM, por sus siglas en inglés) de todos sus sistemas. Era cuestión de tiempo que tomaran medidas tan contundentes.

Y es que la presión legal y social ya era insostenible para el gigante de la IA. La proliferación de deepfakes y contenido generado por algoritmos ha encendido todas las alarmas regulatorias. Ante esto, la respuesta de Sam Altman ha sido liberar tecnología de grado policial para intentar frenar una de las peores caras de internet.

Un filtro inteligente que ve lo que nadie debería ver

En concreto, la verdadera joya de la corona de este anuncio es un nuevo clasificador de imágenes entrenado de forma específica para cazar este tipo de contenido aberrante. Lo interesante a nivel técnico es que el algoritmo no se limita a buscar firmas digitales o hashes ya conocidos en bases de datos policiales. Busca señales visuales de abuso en píxeles que jamás ha visto antes. Es decir, pilla al vuelo el contenido generado desde cero por la propia IA.

Un filtro inteligente que ve lo que nadie debería ver

Evidentemente, para entrenar un modelo tan sensible no han trabajado solos. Lo han desarrollado codo con codo junto al NCMEC (el Centro Nacional para Niños Desaparecidos y Explotados de Estados Unidos). Pero la jugada maestra, y lo que realmente puede cambiar el mercado, es que OpenAI va a regalar el acceso a este clasificador a empresas seleccionadas a través de su API. Para escalar esta distribución gratuita, están colaborando con entidades expertas como la Coalición Tecnológica y la iniciativa ROOST.

Si miramos los números de las pruebas iniciales, el rendimiento de este modelo es una locura. El algoritmo ha logrado señalar un 48 % menos de imágenes sospechosas, pero cazando exactamente la misma cantidad de archivos reales de abuso. Básicamente, han limpiado el ruido que colapsaba el sistema. Las imágenes que ahora marca este filtro tienen el doble de probabilidades de ser delictivas.

Esto es oxígeno puro para los moderadores humanos, reduciendo drásticamente una carga de trabajo que resulta psicológicamente demoledora. El modelo incluso asigna una puntuación orientativa para facilitar el triaje manual.

ChatGPT se pone estricto: bloqueos inmediatos de 24 horas

Pero claro, el problema no está únicamente en las imágenes que los usuarios suben a la plataforma, sino en lo que la gente le pide a los modelos de lenguaje mediante los prompts. Hasta el día de hoy, ChatGPT ya bloqueaba de base el CSAM y rechazaba las peticiones ilegales. Ni se inmutaba ante ellas. Sin embargo, OpenAI ha decidido ir un paso más allá en su pipeline de seguridad.

A partir de ahora, la plataforma incorporará pantallas de advertencia tremendamente agresivas. Si intentas forzar al LLM para generar contenido que sexualice a menores, el sistema no solo te dará un portazo virtual. Te mostrará recursos de apoyo clínico especializado para frenar esa conducta dañina y, como golpe en la mesa, suspenderá tu cuenta durante 24 horas. Una advertencia muy clara. Si el usuario decide reincidir tras ese bloqueo temporal, se enfrentará a la eliminación permanente de su cuenta.

A la hora de calibrar estos avisos disuasorios, no puedes usar mensajes genéricos. Por eso OpenAI ha trabajado en la redacción de estas alertas con organizaciones como Protege a los Niños y la Fundación Lucy Faithfull. Incluso el investigador Joel Scanlan, de la Universidad de Tasmania, evaluó de forma independiente un ensayo sobre el impacto real de estos mensajes. Querían asegurarse empíricamente de que la táctica disuasoria funciona.

Armando a los desarrolladores y a la policía

Por si fuera poco, la compañía sabe que su ecosistema de API es enorme y no pueden auditar cada aplicación de terceros. Para solucionarlo, van a publicar directrices técnicas para que los desarrolladores prevengan y detecten el CSAM por su cuenta. Las pruebas iniciales confirman que varios devs ya han adoptado estas guías y se han registrado para reportar infracciones automáticamente.

A ello se le suma un paquete brutal exclusivo para las fuerzas de seguridad dedicadas a la protección infantil. Hablamos de dotar a los investigadores de complementos específicos basados en IA y herramientas avanzadas para el análisis de datos complejos. Todo gestionado por administradores cualificados y acompañado de una guía de campo para que los agentes sepan exprimir la inteligencia artificial en sus investigaciones.

Quizás te preguntes por qué vemos este despliegue masivo precisamente ahora. El motivo es simple: la startup ha sufrido varias demandas que acusan a su tecnología de causar daños directos a menores. Además, organizaciones como Common Sense Media llegaron a calificar las herramientas de OpenAI como un «riesgo inaceptable» para los adolescentes.

Y mientras tanto, vemos cómo otros chatbots del sector, como el Grok de Elon Musk, están siendo utilizados sin pudor para crear imágenes sexualizadas sin consentimiento, metiendo a toda la industria en el mismo saco de la desconfianza.

Durante los últimos doce meses, OpenAI ha tenido que pisar el freno y reconstruir su estrategia. Han reajustado por completo sus modelos, actualizado sus normas de contenido y hasta lanzado un ChatGPT descafeinado y seguro para adolescentes. Todo este nuevo arsenal contra el abuso infantil es el remate final a esa estrategia de limpieza de imagen. Tocará esperar para ver si la competencia toma nota y asume la misma responsabilidad, o si prefieren seguir mirando hacia otro lado.

0 0 votos
Valoración del artículo
Suscribirte
Notificar sobre
guest
0 Comentarios
Más Antiguos
Más Nuevos Más Votados