Modelo

Un LoRA dentro del harness: Qwen3.8-27B sube 25 puntos en SWE-bench Pro

Hugging Face entrena un adaptador LoRA por arnés sobre Qwen3.8-27B con RL dentro del propio arnés, sin reimplementar el bucle del agente.

Un LoRA dentro del harness: Qwen3.8-27B sube 25 puntos en SWE-bench Pro

Adiestrar el arnés, no solo el modelo

Hugging Face acaba de publicar una receta reproducible para lo que hasta ahora era el secreto mejor guardado de los equipos de agentes: no todos los modelos valen lo mismo en todos los arneses, y esa diferencia se puede corregir entrenando. El equipo entrenó un adaptador LoRA por arnés sobre Qwen3.8-27B usando aprendizaje por refuerzo dentro del propio arnés, con los rollouts grabados tal cual salen del agente, sin reimplementar el bucle en el framework. Los tres adaptadores —uno para Pi, otro para Hermes Agent y otro para OpenCode— superan al modelo base en los dos bancos de prueba y lo hacen gastando entre un 53 % y un 72 % menos de llamadas a herramientas.

El punto de partida es una observación incómoda: los modelos se entrenan para el rendimiento general, no para el par concreto de agente y tarea que usas, así que se desperdicia parte del presupuesto. En Terminal-Bench 2.1, Qwen3.8-27B con el arnés Pi llegaba al 39 % de pass@1 con una media de 2.900 tokens por tarea. Al congelar esos pesos y montar encima un adaptador LoRA entrenado con RL, la cifra sube al 55 % y el consumo baja a 1.500 tokens. La explicación del equipo es aburrida y creíble: el modelo razona menos, llama menos herramientas y acierta a la primera.

Lo interesante de la receta está en el orden en que se hace el trabajo, porque es donde se suelen perder los proyectos de RL. Primero se construye el conjunto de tareas. En el Hub hay unas 59.000 en formato Harbor, pero había duplicados, conjuntos de evaluación y tareas no aptas para entrenamiento. De ahí se depuraron dos fuentes: SWE-smith, que inyecta fallos en repositorios reales de Python y Go y convierte en tarea los tests que cazan ese fallo, y SWE-Gym, que convierte incidencias reales de GitHub con su corrección ya fusionada. El tercer frente es Tasksmith, dentro de Repo2RLEnv, que genera tareas desde pull requests fusionados: un agente escribe la instrucción y los tests, y la comprobación exige que la solución de referencia pase, que una alternativa válida también, y que el código sin arreglar o una solución errónea conocida fracasen.

Después llega la validación semántica con openenv validate, que evita que el entrenamiento enseñe lo contrario de lo que se quiere. Cada tarea debe cumplir cuatro condiciones: la solución de referencia obtiene la recompensa máxima, no hacer nada puntuaza claramente peor, ninguna respuesta canaria supera al piso de inacción, y reproducir la referencia da la misma recompensa. De 1.127 candidatas del Hub, 858 pasaron esa criba. Los controles con respuestas erróneas pillaron defectos reales, entre ellos una tarea de Tasksmith que aceptaba una implementación incompleta y un verificador de Terminal-Bench 2.1 que daba el visto bueno a respuestas incorrectas. La mayoría de los fallos fueron de infraestructura: contenedores que no arrancaban.

El tercer filtro es el que más se olvida y el que más rendimiento da: comprobar que la tarea enseña algo. GRPO puntúa cada intento contra el resto de intentos de la misma tarea, así que una tarea que todos resuelven, o que ninguno resuelve, no aporta señal. Antes de entrenar, Qwen3.8-27B intentó cada tarea cuatro veces, y ocho en una muestra estratificada de seis tareas por repositorio. De 442 tareas puntuadas, resolvió 151 siempre y 120 nunca; las 171 restantes, las que resuelve unas veces y otras no, son las que sirven. El conjunto final quedó en 871 tareas en 35 repositorios, con un tope de 40 por repositorio para que ningún proyecto domine la mezcla.

El entrenamiento se hizo con TRL AsyncGRPOTrainer, que a diferencia del GRPO clásico no espera a que terminen todos los rollouts antes del siguiente paso. El ajuste fue LoRA en modo all-linear sobre Qwen/Qwen3.8-27B, con una recompensa que era el pass o fail del verificador más un bonus de eficiencia de herramientas de 0,1. El barrido de tasa de aprendizaje fue revelador: 1e-5 apenas movía la corrección, de 0,52 a 0,50; 1e-4 hundía los rollouts, con los turnos por rollout bajando de 18 a 6 y la entropía subiendo; solo 5e-5 mejoraba claramente, aunque las tiradas largas acababan mostrando inestabilidad. Se quedaron con 2e-5. Cada adaptador se entrenó con dos GPU NVIDIA B200, una para el servidor vLLM y otra para el entrenamiento, con una mezcla final de 750 tareas propias y 300 de termgrade.

Los resultados finales son los que interestan a quien tiene que justificar un presupuesto. En SWE-bench Pro (los 51 casos más difíciles), Pi pasa del 39,2 % al 64,7 %, un salto de 25,5 puntos con 15 tareas resueltas de nuevo frente a 2 perdidas (p = 0,002). Hermes sube del 29,4 % al 43,1 % y OpenCode del 35,3 % al 51,0 %. En Terminal-Bench 2.1 completo, Pi gana 16,3 puntos (16 frente a 2, p = 0,001) y Hermes 14,1 (19 frente a 7, p = 0,03). La eficiencia viene en el mismo paquete: entre un 56 % y un 72 % menos de llamadas a herramientas por tarea en SWE-bench Pro, y entre un 53 % y un 70 % menos en Terminal-Bench.

La segunda pregunta fue si se pueden fusionar los tres adaptadores en uno solo que funcione bajo cualquier arnés. Comparando las actualizaciones de pesos capa a capa, la similitud coseno entre cualquier par es de 0,01 a 0,02: cada adaptador empujó el modelo en una dirección casi ortogonal, el mejor caso para fusionar. Concatenaron los tres LoRA en la dimensión de rango, con rango 96, y probaron tres pesos sobre las 89 tareas de Terminal-Bench 2.1. La suma simple se pasa: los agentes se vuelven demasiado cortos, 13,4 llamadas por tarea frente a 49,2 del base, y Pi cae a su nivel. El promedio se queda corto. El medio es el óptimo, y con los checkpoints publicados construyeron el super-adaptador.

Ese modelo único es el que rinde mejor con el modo de razonamiento activado. Aunque no se entrenó ni un paso con thinking activado, gana en cinco de los seis pares arnés-banco y empata en el sexto: la media de pass@1 pasa del 55,5 % al 63,5 % (p = 0,004). En eficiencia hace entre un 53 % y un 73 % menos de llamadas a herramientas y entre un 44 % y un 60 % menos de tokens por tarea.

Y aquí viene la parte que nadie quiere oír: en la evaluación fuera de distribución, con 300 tareas de AutomationBench y un bucle de agente distinto, los adaptadores se quedan cerca del modelo base. Pi sube al 27,0 % y OpenCode al 25,3 % frente al 23,0 % del base, el fusionado queda en nivel, con 23,7 %, y Hermes se queda por debajo, con 17,7 %. Las diferencias están dentro del ruido, salvo quizá Hermes. Lo aprendido dentro del arnés no transfiere limpiamente a un entorno muy distinto, pero tampoco rompe el modelo.

Queda un detalle incómodo. Al inspeccionar las trayectorias detectaron que, en modo sin razonamiento, el modelo genera texto breve antes de llamar a una herramienta, algo parecido a «espera, dejame ver», mientras el base pedía la herramienta casi sin texto. Lo llaman fuga de razonamiento: el modelo aprende a escaparse de su versión sin razonamiento hacia la que razona. Los autores sostienen que no invalida los resultados porque, con el mismo presupuesto de tokens, los adaptadores superan al base sin razonamiento e igualan al modelo con razonamiento siendo más eficientes. También publicaron el plugin de safeagents, que bloqueó 647 llamadas de herramientas de 1,3 millones comprobadas.

Resumen

Hugging Face entrena un adaptador LoRA por arnés sobre Qwen3.8-27B con RL dentro del propio arnés, sin reimplementar el bucle del agente. En SWE-bench Pro (51 casos duros), Pi pasa del 39,2 % al 64,7 %, Hermes del 29,4 % al 43,1 % y OpenCode del 35,3 % al 51,0 %. Los adaptadores hacen entre un 53 % y un 72 % menos de llamadas a herramientas por tarea que el modelo base. Los tres LoRA se fusionan en un super-adaptador de rango 96 al 50 % de peso, que gana en cinco de los seis pares arnés-banco y empata en el sexto. Fuera de distribución, con AutomationBench, las diferencias se quedan dentro del ruido: lo aprendido en un arnés no transfiere limpiamente a otro entorno. Todo el material, adaptadores, GGUFs, tareas de RL y plugin de safeagents, queda publicado y reproducible en el Hub.

Opinión

Desde una mesa de redes y telecomunicaciones, lo interesante aquí no es el punto de porcentaje, sino la dirección que toma la optimización. Durante años el gasto de un agente se ha controlado por arriba: modelo más pequeño, contexto más corto, menos herramientas expuestas. Lo que propone Hugging Face es lo contrario, ajustar el modelo a la infraestructura de agente que ya tienes desplegada, y el resultado medible es el que me interesa: menos llamadas a herramientas y menos tokens por tarea. En una operación real, el cuello de botella de un agente no es el modelo, es el tráfico que genera contra tus APIs internas, tus tickets y tus bases de datos. Un 60 % menos de llamadas significa menos superficie de ataque y menos factura de inferencia.

La segunda lectura es más incómoda. Los adaptadores solo funcionan bien dentro del arnés para el que se entrenaron y solo rinden de forma consistente en el tipo de tarea con el que se entrenaron. En AutomationBench, con un bucle de agente distinto, las diferencias se desvanecen. El salto de 25 puntos de Pi no es una mejora del modelo, es un acoplamiento con una forma concreta de usarlo: una dependencia más que sumar al inventario, no una capacidad nueva.

La tercera es la que más me gusta: los autores publican sus fracasos con la misma claridad que sus éxitos. Admiten que el modelo aprende a fugar razonamiento y enseñan los controles que encontraron defectos en tareas y verificadores del propio Terminal-Bench. En un sector donde los marcadores se publican sin contexto y los fallos se esconden, esto es un modelo de trabajo. El punto débil es el de siempre: 598 pasos de entrenamiento y dos GPU B200 por adaptador. La receta es reproducible y los pesos están publicados.

Fuente original

Referencia y documentación original: Hugging Face.

https://huggingface.co/blog/harness-adapters-at-scale