Las grandes compañías tecnológicas, como OpenAI, Google o Anthropic, manejan enormes modelos de inteligencia artificial (IA) que pueden transformar campos como la medicina, la educación o las finanzas. Sin embargo, el acceso público a información sobre cómo funcionan esas tecnologías sigue siendo muy limitado.
El informe “California Report on Frontier AI Policy”, recién publicado, intenta dar respuestas claras para controlar los riesgos de la IA y exige un giro hacia una mayor transparencia y supervisión en el desarrollo de la IA generativa.
Todo empezó cuando el gobernador Gavin Newsom vetó la ley SB 1047, una propuesta que habría exigido a quienes desarrollan modelos de IA caros, con presupuestos superiores a 100 millones de dólares, la obligación de testear sus sistemas en busca de riesgos.
En ese terreno se mueve ahora California, en medio de un debate nacional donde la industria presiona para evitar restricciones estatales durante al menos una década.
El primer intento de regular el desarrollo de IA generativa en California fue el conocido como proyecto de ley SB 1047, muy demandado por quienes alertan sobre los riesgos de esta tecnología.
La propuesta buscaba que los creadores de modelos potentes pasaran por exámenes rigurosos antes de liberar sus productos. Aun así, el gobernador Newsom vetó la ley, porque consideraba que era demasiado estricta y flexible solo en apariencia.
También te puede interesar:Hemos probado ChatGPT Canvas y por esto creemos que es la herramienta más importante del añoGrandes tecnológicas celebraron esta decisión, ya que temían una regulación rígida que frenara la innovación. Frente a este veto, voces críticas del sector, incluyendo denunciantes y personal investigador, lamentaron la oportunidad perdida para reforzar controles sobre riesgos graves.
¿Qué ocurre entonces tras el veto? Newsom encargó la creación de un informe independiente a un equipo formado por figuras internacionales como Fei-Fei Li y Jennifer Tour Chayes. Con el “California Report on Frontier AI Policy”, se busca ahora equilibrar el fomento de la innovación con nuevas reglas para la supervisión efectiva de la IA.
Según el documento, las capacidades de los modelos de IA han dado un salto gigantesco en solo unos meses, superando barreras en razonamiento y utilización de cadenas complejas de pensamiento. Por eso, el nuevo enfoque pide diseñar una política adaptativa, capaz de vigilar sin entorpecer los progresos técnicos.
Los autores del informe apuestan por un marco que aumente la transparencia y la revisión independiente de los grandes modelos de IA. Aportan datos de estudios de caso, simulaciones y revisiones empíricas para justificar sus recomendaciones.
El documento va más allá de la ley vetada, pasando de regular por el coste computacional hacia sistemas más sofisticados de evaluación.
En lugar de fijarse solo en el precio de entrenar un modelo, el informe sugiere usar ese criterio como un filtro inicial. Después, recomiendan realizar evaluaciones de riesgo reales y análisis de impacto cuando los modelos empiezan a ser usados de verdad para evitar que pasen desapercibidos riesgos graves en aplicaciones cotidianas.
También te puede interesar:Roli Airwave: La combinación perfecta de IA y gestos para aprender pianoUno de los grandes problemas detectados es la opacidad sistémica en los procesos clave de la IA: desde cómo se obtienen los datos hasta cómo se prueban los sistemas de seguridad o cómo se evalúan los riesgos antes de cada lanzamiento. Existen grandes lagunas en la divulgación de información, lo que dificulta la vigilancia ciudadana y científica.
Los autores reclaman también que los denunciantes (“whistleblowers”) y evaluadores externos dispongan de vías de protección legal, al estilo del “safe harbor” que ya existe para quienes investigan ciberseguridad en otros sectores. De hecho, citan una carta firmada por más de 350 expertos solicitando exactamente esto: garantías para poder analizar y reportar problemas sin miedo a represalias.
A pesar de que existe gran disposición por parte de miles de revisores independientes para analizar los posibles riesgos que entrañan los modelos de IA, en la práctica el acceso a los sistemas, datos y arquitectura interna es muy limitado.
Incluso empresas externas contratadas para evaluar riesgos, como la firma Metr que trabajó para OpenAI, han denunciado falta de tiempo e información para llevar a cabo análisis fiables del modelo o3.
El informe subraya este conflicto: aunque se anuncian evaluaciones independientes, a menudo falta acceso real y las condiciones contractuales bloquean investigaciones efectivas. Dar acceso a una API pública o a los “weights” del modelo no resulta suficiente, porque las empresas todavía pueden poner límites legales o técnicos que dificultan la revisión cuidadosa.
¿Crees que una empresa puede identificar sola todos los riesgos de su tecnología? Los propios autores del informe aseguran que los desarrolladores de IA, en solitario, no pueden anticipar ni comprender la totalidad de los riesgos presentes. La velocidad del avance y la complejidad de los sistemas hacen imposible un control exclusivo desde dentro.
En cambio, evaluaciones independientes realizadas por equipos diversos pueden detectar peligros que ni las personas creadoras más expertas ven venir. Esto es aún más importante porque quienes diseñan los modelos suelen estar lejos social y geográficamente de las comunidades más afectadas.
¿Tiene sentido imponer reglas iguales para todas las empresas, pequeñas y grandes? Las autoras y autores del informe insisten en que las exigencias deben ser asumibles para garantizar que cualquier organización con recursos pueda cumplirlas sin bloquear el progreso. Si se proponen normas demasiado exigentes, muchas startups y equipos innovadores no podrán competir.
Ese equilibrio entre control y flexibilidad es clave, porque el propio informe advierte que una IA sin frenos puede causar “daños graves e irreversibles”, especialmente en sectores críticos como biotecnología, medicina o tecnología de defensa. El aumento de capacidades que muestran algunas empresas en áreas como armas químicas, biológicas, radiológicas y nucleares despierta especial preocupación.
La política californiana de IA tendrá que cambiar y adaptarse constantemente, porque lo que hoy es seguro, mañana puede no serlo. El informe recuerda que medir el riesgo exclusivamente en función de la potencia computacional o el dinero invertido en entrenar cada modelo es insuficiente. Hay que prestar atención al uso real y a los daños detectados en la práctica.
Por todo esto, Scott Singer, coautor del informe, señala que California puede liderar las reglas básicas para coordinar la supervisión estatal, y así evitar un mosaico de leyes inconexas que enreden a toda la industria.
Mientras tanto, a nivel nacional, el Congreso estadounidense sopesa imponer una moratoria de diez años a cualquier regulación estatal sobre IA. Empresas como OpenAI apoyan esta pausa, temiendo la posibilidad de un marco legal demasiado fragmentado que ralentice el desarrollo de IA generativa.
Ejecutivos de empresas punteras como Anthropic han pedido reglas federales de transparencia y control de riesgos, para evitar que queden huecos en la vigilancia y supervisión. Un estándar nacional ayudaría a clarificar qué deben hacer las grandes compañías para mitigar riesgos catastróficos en la seguridad nacional.
Ni las mejores políticas pueden prevenir todos los problemas derivados del uso de modelos de IA a gran escala; siempre puede haber efectos imprevistos. El informe aconseja desarrollar mecanismos formales para que cualquier usuario o persona afectada pueda comunicar daños, errores o sesgos mucho tiempo después de haberse desplegado el modelo en cuestión.
Solo así se podrán identificar con rapidez nuevas amenazas o situaciones peligrosas, reforzando el papel de la evaluación externa como defensa clave para la sociedad.
El debate sobre la transparencia y la regulación de modelos de IA sigue abierto, y todo apunta a que las grandes empresas tecnológicas deberán rendir cuentas públicas de cómo evalúan y corrigen los riesgos. Las propuestas presentadas en California buscan asegurar que vas a poder confiar en la IA sin perder de vista los riesgos más serios.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
La Newsletter Diaria Sobre Inteligencia Artificial. Además: Portal de Noticias, Tutoriales, Tips y Trucos de ChatGpt, Openai e Inteligencia Artificial.
Nuestra web está alojada en:
