Investigación

METR actualiza su gráfico malentendido: la IA dobla de techo en cuatro meses

METR actualiza su gráfico de horizonte de tiempo con tareas más largas y más abiertas que en el informe original.

METR actualiza su gráfico malentendido: la IA dobla de techo en cuatro meses

El gráfico que todos citaban mal y que ahora incluye tareas sin respuesta automática

METR, la organización sin ánimo de lucro que evalúa sistemas de IA, ha publicado la actualización de su gráfico de horizonte de tiempo, el pictograma que se ha convertido en la referencia más citada y más malinterpretada del campo. La conclusión del nuevo informe es doble, y por eso merece atención: la capacidad de los modelos de frontera sigue mejorando en una trayectoria exponencial, pero esa mejora se ha medido casi siempre sobre tareas donde se puede verificar automáticamente si la respuesta es correcta. Cuando el listón sube a tareas que exigen criterio, los modelos se quedan cortos.

La mecánica del gráfico es sencilla sobre el papel. METR propone a los modelos una batería de tareas que también han completado personas, mide cuánto tarda un humano en cada una de ellas y luego asigna a cada modelo el techo de dificultad que sí supera. El resultado del primer informe, publicado hace meses, fue una línea que se recordaba: cada cuatro meses, la duración máxima de tarea que los modelos de frontera lograban resolver se duplicaba. Esa frase alimentó titulares apocalípticos sobre la Singularidad y debates sobre si la IA estaba cerca de sustituir programadores.

El problema de fondo estaba en la definición de tarea. La métrica de horizonte de tiempo responde a una pregunta muy concreta: cuánto trabajo real, medido en tiempo humano, es capaz de completar un modelo sin supervisión. Pero esa pregunta solo tiene sentido si se puede comprobar que la tarea se ha resuelto bien. Y ahí está la debilidad del método.

Por eso la versión nueva cambia el reparto de las tareas. METR ha ampliado la batería con dos grupos: unas tareas estimadas como mucho más largas que las del suite original para un humano, y otras mucho más abiertas, donde no hay una única respuesta correcta. El objetivo declarado es responde a la pregunta que más importa ahora: en qué medida el progreso en tareas verificables se transfiere a tareas cuyo éxito es difícil de medir.

La explicación técnica es la que explica por qué los modelos son tan buenos en programación y matemáticas. Ahí se puede aplicar refuerzo de forma limpia: el sistema intenta la tarea muchas veces, se refuerzan las vías neuronales que conducen al acierto y se debilitan las que conducen al error. Se sabe si la solución funciona o no, así que la señal de aprendizaje es perfecta. Aplicar ese mismo mecanismo a tareas como elegir una nueva línea de investigación o puntuar argumentos filosóficos es mucho más difícil, porque no hay forma automática de saber si la respuesta era buena.

Los resultados son incómodos. En una de las tareas nuevas, METR pide a los modelos que diseñen evaluaciones de IA que la propia organización pueda usar en su investigación, y después empleados humanos puntúan los resultados. Aquí los modelos se atascan: ninguna de las evaluaciones diseñadas por IA resultó útil para el trabajo de METR, pese a que los modelos más avanzados ya superan a casi cualquier humano en ingeniería de software. En otra tarea, los modelos deben puntuar argumentos filosóficos, y también quedan por debajo del rendimiento humano.

Lo relevante no es el fallo en sí, sino lo que señala sobre dónde está el techo. Sayash Kapoor, investigador de seguridad y profesor entrante en UC Berkeley, cuenta que no le sorprende: en un preprint de agosto, él y sus colaboradores publicaron que los modelos todavía no son capaces de reproducir por sí solos investigación en ciencias de la computación. En la misma línea, OpenAI publicó que sus modelos rinden peor en las tareas reales que asignan a sus empleados que en las tareas verificables más fáciles del suite original de METR.

Hay, sin embargo, una nota positiva y una advertencia. La nota positiva es que los modelos más recientes, como Opus 5.5, alcanzan lo que METR llama rendimiento «justo por encima del listón» en las tareas de diseño de evaluaciones: todavía no utilizables para la investigación de METR, pero prometedores. Hace un año, todos los modelos estaban claramente por debajo del listón. La advertencia es metodológica: como estas tareas abiertas son difíciles de puntuar, METR incluye muy pocas en el informe, y eso hace casi imposible extrapolar la tendencia.

El método también ha cambiado en cómo se calculan los tiempos. En el primer gráfico, el tiempo que tardaba una persona en cada tarea se midió de verdad, haciendo que personas resolvieran las tareas. En el nuevo informe, la mayoría de los tiempos son estimaciones, porque pagar a gente para tareas que podrían durar cientos de horas, o que solo unos pocos expertos son capaces de completar, sale demasiado caro. Otras tareas tienen problemas específicos: en la de argumentos filosóficos, solo una persona evaluó la mayoría de los argumentos, y los agentes se miden por lo bien que coinciden con la opinión de ese individuo concreto.

Matt Putz, del equipo técnico de METR, es cauto: predecir el progreso en este tipo de tareas seguirá siendo difícil, porque por su naturaleza son mucho más difíciles de estudiar y de cuantificar. Najoung Kim, de la Universidad de Boston, coincide en el fondo: la mejora que se observa dice algo sobre el momento actual, pero no está claro cómo extrapolarla. Y el propio informe admite que todavía no hay respuestas definitivas sobre si la automatización de la investigación en IA está cerca.

En cualquier caso, la comunidad de evaluación ha dado un paso que hoy puede parecer pequeño y que dentro de un año puede ser obvio: por fin se mide a los modelos donde no se puede aprobarles un examen automáticamente. Ese es exactamente el terreno en el que un agente tiene que decidir solo.

Resumen

  • METR actualiza su gráfico de horizonte de tiempo con tareas más largas y más abiertas que en el informe original.
  • El progreso exponencial se mantiene: cada cuatro meses se duplica la duración máxima de tarea que los modelos de frontera resuelven.
  • En tareas verificables, los modelos superan al humano; en tareas con criterio (diseñar evaluaciones, puntuar argumentos) quedan por debajo.
  • Ninguna evaluación de IA diseñada por IA resultó útil para el equipo de METR; Opus 5.5 roza el listón.
  • Los nuevos tiempos humanos son en su mayoría estimaciones y algunas tareas las puntúa una sola persona, así que la métrica es frágil.
Opinión

Para quien trabaja con redes y telecomunicaciones, el valor de este informe no está en la proyección sobre el fin del trabajo programable ni en la Singularidad, sino en un patrón que ya conocemos bien en los sistemas gestionados: el rendimiento se mide con lo que se puede medir automáticamente, y el resto queda en un hueco invisible donde nadie audita.

Un panel que solo muestra peticiones por segundo y latencia p99 te dice que todo va bien mientras la experiencia del usuario se rompe. Lo mismo pasa con un modelo que programa bien y luego toma decisiones sin criterio en un incidente real.

La segunda lección es de plantilla: la calidad de la evaluación condiciona la calidad de todo lo que se apoya en ella. METR está haciendo el trabajo correcto al revisar sus sesgos, pero lo hace con un juez único en algunas tareas y con tiempos estimados en casi todas. Es un recordatorio de que un benchmark es una decisión de diseño, no una verdad.

Y la tercera es la más útil: cuando la señal de refuerzo se acaba, el modelo no sigue mejorando, se estanca. En redes lo vemos en cualquier sistema de detección de anomalías que solo aprende de fallos etiquetados: funciona en la demo y se vuelve inútil el día que aparece algo que no vio nadie. Si el ritmo de mejora de los modelos depende de tareas verificables, y las tareas que de verdad automatizan el trabajo de una persona (investigar, diagnosticar un corte, elegir un proveedor) casi no son verificables, el techo de los próximos años está más cerca de lo que sugiere la famosa pendiente de cuatro meses.

Fuente original

Referencia y documentación original: MIT Technology Review.

https://www.technologyreview.com/2026/11/20/1149399/the-most-misunderstood-graph-in-ai-just-got-a-major-update/