¿Quién dijo que para tener una IA de primer nivel hacía falta hipotecarse alquilando servidores masivos? Hoy, la gente de Thinking Machines Lab ha dado un golpe sobre la mesa soltando en la red a Inkling-Small. Se trata de un modelo de pesos abiertos que desafía toda la lógica de escalar por escalar en la inteligencia artificial. Básicamente, han metido el cerebro de su modelo estrella en un formato cuatro veces más pequeño, logrando que rinda igual o mejor en tareas críticas. Una auténtica locura.
Para que te hagas una idea de la ingeniería que hay detrás, este nuevo bicho utiliza una arquitectura Mixture-of-Experts (MoE). Cuenta sobre el papel con 276.000 millones de parámetros totales, pero aquí está el truco de magia: solo 12.000 millones están activos en cada inferencia. Es decir, el modelo no enciende todo su enorme cerebro para responderte a una petición, ahorrando una cantidad de energía y coste computacional brutal. Así de simple.
Y es que la estrategia open-source de este laboratorio sigue empujando con fuerza. Los pesos completos del modelo ya están subidos a Hugging Face para que cualquiera pueda cacharrear con ellos en su hardware. Además, si quieres ajustarlo a tus propias necesidades corporativas, el fine-tuning está plenamente disponible a través de la plataforma Tinker. Todo esto viene coronado con una bestial ventana de contexto de un millón de tokens. Puedes pasarle manuales enteros de código y la IA ni parpadea.
Menos músculo bruto, pero mucha más agilidad mental
Pero claro, la verdadera magia técnica reside en cómo han entrenado a este peso pluma. El equipo aprovechó el potente hardware de los sistemas NVIDIA GB300 NVL72 y todo lo aprendido con el Inkling original para refinar su receta. Utilizaron una técnica de destilación on-policy, usando al modelo mayor como profesor para enseñarle los atajos lógicos al pequeño. A este proceso le sumaron otras dos semanas de aprendizaje por refuerzo puramente centrado en la programación de agentes.
Los números cantan por sí solos. Según el comunicado oficial de la fuente, Inkling-Small supera a su hermano mayor en benchmarks de razonamiento y tareas autónomas de código. En concreto, ha logrado rascar un espectacular 31,6 % en el Humanity’s Last Exam (en formato solo texto), superando el 29,7 % de la versión grande. Y si miramos la escritura de código, ha pulverizado métricas con un 80,2 % en SWEBench Verified y un sólido 64,7 % en Terminal-Bench 2.1. Te quedas frío.
Eso sí, la física sigue mandando y tanta compresión tiene un precio ineludible. Al tener menos parámetros totales trabajando en el conocimiento profundo, el Inkling original sigue ganando la batalla holgadamente en cobertura de cultura general y precisión factual. Básicamente, para resolver un problema de Python usa el pequeño, pero para extraer datos enciclopédicos muy oscuros, el modelo grande sigue siendo el rey de la casa.
Visión nativa y control de razonamiento a medida
A ello se le suma una de las características más jugosas para optimizar recursos: el control dinámico del esfuerzo. Puedes ajustar el nivel de razonamiento del modelo desde mínimos hasta configuraciones xhigh. Tú decides en tiempo real si quieres una respuesta rápida y ultrabarata, o si prefieres gastar más computación para que la IA dedique tiempo a resolver un problema matemático endemoniado.
En el terreno multimedia, este modelo mantiene el elogiado diseño multimodal nativo sin encoder. No hay parches de software raros entre medias para traducir formatos. El audio de entrada se transforma directamente en espectrogramas dMel, y las imágenes se trocean en bloques de 40×40 píxeles.
Todo esto se procesa al unísono con los tokens de texto. Incluso es capaz de utilizar Python para tareas visuales complejas, haciendo zoom o recortando documentos gráficos por sí solo para «ver» mejor los detalles minúsculos.
Por si fuera poco, el apartado de seguridad no se ha quedado atrás en esta versión reducida. Han calcado la estricta metodología de postentrenamiento del modelo original, sometiendo a Inkling-Small a durísimas pruebas de red-teaming con socios externos. ¿El resultado directo? Un 98,4 % de éxito en StrongREJECT, aguantando estoicamente los intentos de jailbreak y manteniendo una tasa de respuestas benignas del 96,9 %.
Visto lo visto, la tendencia de la industria está pivotando drásticamente. Ya no se trata solo de construir clusters gigantescos de GPUs que consumen la electricidad de un pueblo entero para rascar un punto en un benchmark. Inkling-Small demuestra que la destilación y el enfoque de expertos pueden darnos modelos ultracapaces que corren de forma mucho más barata. La pelota está ahora en el tejado de gigantes como Meta o Mistral. Veremos cuánto tardan en responder a este órdago de eficiencia pura.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
