Inkling 2 Mini: 26B parámetros y 1 millón de tokens en local
Thinking Machines Lab publica Inkling 2 Mini, un modelo multimodal MoE de 26.000 millones de parámetros físicos y 3.000 millones activos por token.
Un MoE con bucles que multiplica su capacidad sin tocar el hardware
Thinking Machines Lab ha publicado Inkling 2 Mini, un modelo multimodal de mezcla de expertos que cabe en un equipo de sobremesa y que ya está disponible en formato cuantizado para llama.cpp, MLX y SGLang. La gracia del diseño no está en el tamaño, sino en cómo se reparten las visitas al decodificador: el núcleo central del modelo se ejecuta tres veces en bucle, de modo que el modelo se comporta como si tuviera casi el doble de capas lógicas que capas físicas realmente tiene.
La arquitectura parte de 24 capas de decodificador. Las seis primeras se ejecutan una vez, las doce centrales se recorren tres veces y las seis últimas vuelven a ejecutarse una sola vez. En total son 48 visitas al decodificador por token, pero solo 24 capas físicas distintas, porque los pesos del bucle central se reutilizan en las tres pasadas. Cada visita mantiene su propio estado de clave-valor y su propia convolución de estado corto, así que el bucle no es un simple recommit: es una segunda computación con entradas parcialmente distintas.
La capacidad total ronda los 26.000 millones de parámetros físicos, de los que unos 3.000 millones están activos en cada token. El ancho oculto es de 2.304, frente a los 4.608 del modelo Inkling 2 Small. El enrutador selecciona 8 expertos SwiGLU entre 128 disponibles en cada capa, y cada bloque de seis capas combina cinco capas de ventana deslizante con una de atención completa, con una ventana local de hasta 1.024 tokens.
El mecanismo que hace que el bucle no degenera en repetir lo mismo son los mensajes entre pasadas. Cada capa del núcleo recibe un mensaje generado en la pasada anterior, con una consulta aprendida propia para las entradas de query, key, value y MLP. Un pequeño controlador de puerta observa a la vez la entrada actual de la capa y ese mensaje, y decide cuánto de lo actual se conserva y cuánto del mensaje anterior se incorpora. En la práctica, cada pasada refina el resultado de la anterior en lugar de limitarse a recalcularlo.
El modelo acepta texto e imágenes, y su ventana de contexto llega hasta el millón de tokens. En los rankings de Hugging Face se sitúa en el índice de inteligencia Artificial Analysis v5 y lidera 32 de 48 comparaciones frente a Gemma 4 31B, Muse Glimmer, Qwen3.8-27B y Nemotron 3.5 Super VL. En los test de programación destaca en FrontierCode v2.0, empata con Qwen3.8-27B en Terminal-Bench 4.0 y se queda por detrás de Qwen en AutomationBench-AA v1.0.6. Los propios autores reconocen que sus pruebas de rendimiento necesitan más verificación independiente.
Los pesos se distribuyen en precisión mixta, con expertos en NVFP4 y MXFP8, más un modelo de borrador DSpark de tres capas para decodificación especulativa. Ese borrador lee las entradas de las visitas al decodificador 5, 23 y 41 más el estado normalizado final, lo que permite proponer tokens que el modelo valida, recortando la latencia en la generación. La variante de investigación TML-d24-varloop permite además fijar 1 o 2 pasadas en lugar de 3: la inferencia se acelera de forma notable a cambio de una calidad algo menor en las respuestas.
Para el despliegue hay soporte oficial desde el primer día. Transformers y MLX cubren el uso directo, llama.cpp ofrece cuantizaciones GGUF en IQ4_NL de 4 bits y Q8_0 de 8 bits, y Llama App expone una API local compatible con OpenAI para integrarlo con editores y agentes de programación. SGLang añade soporte de producción en centro de datos con decodificación especulativa DSpark, que funciona sobre SM103 y con un contexto configurado de 131.072 tokens. El nivel de razonamiento es ajustable desde el propio template de chat, con niveles que van de none (0,0) hasta max (0,99), pasando por minimal, low, medium (0,7) y high (0,9) como valor por defecto.
La otra cara del modelo es su versión más experimental: la variante TML-d24-varloop, entrenada para aceptar un número variable de pasadas, permite reducir el coste de inferencia en despliegues de producción donde la latencia manda más que la calidad de la respuesta.
Thinking Machines Lab publica Inkling 2 Mini, un modelo multimodal MoE de 26.000 millones de parámetros físicos y 3.000 millones activos por token.
El truco arquitectónico es un bucle: las 12 capas centrales se ejecutan tres veces, de modo que el modelo realiza 48 visitas al decodificador con solo 24 capas físicas, y los mensajes entre pasadas permiten que cada una refine la anterior.
Admite texto e imágenes, con ventana de contexto de un millón de tokens, y pesos en NVFP4 y MXFP8 más un borrador DSpark para decodificación especulativa.
Está disponible en Transformers, MLX, llama.cpp con cuantizaciones GGUF de 4 y 8 bits, Llama App y SGLang, con soporte de día cero para despliegues en centro de datos sobre SM103.
En benchmarks lidera 32 de 48 comparaciones del índice Artificial Analysis v5 frente a Gemma 4 31B, Muse Glimmer, Qwen3.8-27B y Nemotron 3.5 Super VL.
Lo interesante de este lanzamiento no es el resultado en los rankings, que ya veremos en auditorías independientes, sino el presupuesto de cómputo que impone el diseño. Ejecutar 48 visitas al decodificador por token significa que, para una carga útil idéntica, la GPU tiene que trabajar más que con una arquitectura convencional del mismo tamaño físico. En un portátil eso se traduce en más consumo, más calor y una autonomía peor, aunque el modelo quepa en memoria.
Para quien monta infraestructura de red e inferencia, el bucle sugiere un escenario muy concreto: capacidad lógica adicional sin ampliar la memoria de vídeo ni el número de GPUs. Si los tiempos de respuesta se pueden ajustar bajando el número de pasadas, tal y como plantea la variante de investigación, se abre una palanca de degradación que puede servir para multiplexar consultas de inferencia barata en el mismo equipo. Esa combinación de cuantización, decodificación especulativa y borrador de tres capas es, probablemente, la parte más transportable del anuncio a cualquier centro de datos que ya tenga GPUs modernas.
El million tokens de contexto, en cambio, conviene tomárselo con reservas: los números de contexto se miden bien y los de calidad en contextos muy largos, mucho peor. Con un millón de tokens, el consumo de memoria de la caché de clave-valor es el primero que revienta, y ese es un problema de dimensionado de red y de caché, no de modelo.
Referencia y documentación original: Hugging Face.