Investigación

Harvard lo deja claro: la IA escribe un 30 % más y no acaba nada

En las empresas que adoptaron agentes de código con IA se escribió un 30 % más de código, pero el trabajo terminado no aumentó de forma medible y conseguir que el código pasara la revisión tardó un 49 % más.

Harvard lo deja claro: la IA escribe un 30 % más y no acaba nada

Más código, menos trabajo terminado: el cuello de botella se ha movido

En las empresas que adoptaron agentes de código con IA se escribió un 30 % más de código, pero el trabajo terminado no aumentó de forma medible y conseguir que el código pasara la revisión tardó un 49 % más. Es la conclusión de un working paper de Harvard firmado por Fiona Chen y James Stratton, ambos doctorandos de la Universidad de Harvard, que cubre 718 empresas y 725.938 trabajadores.

El estudio no es una opinión sobre el futuro del trabajo: es una medición de qué pasó en el punto de control humano cuando la velocidad de redacción se dispara. Los datos vienen de Jellyfish, una empresa que vende una plataforma de analítica de actividad de ingeniería, cruzada con los registros de empleo de LinkedIn recopilados por Revelio Labs. La muestra va de enero de 2021 a marzo de 2026 y cubre los clientes de Jellyfish que consentieron el uso de sus datos para investigación. Las tablas del trabajo recogen 68,3 millones de incidencias de Jira, 200,9 millones de commits, 49,1 millones de pull requests y 21,3 millones de eventos de calendario, aunque solo 213 de las 718 empresas aportaron datos de calendario.

El diseño es una comparación de diferencias en diferencias escalonadas: sigue mes a mes cómo cambian los resultados en las empresas que adoptaron frente a las que aún no lo habían hecho. La fecha de adopción la determinaron, según los autores, sobre todo el momento en que la empresa se enteró de las herramientas y el tiempo que tardó el proceso de compras, con las aprobaciones de sourcing, legal y seguridad y los programas piloto. Una empresa interviewees lo aprobó en un día; otra gastaba de media entre seis y doce meses. Los autores reconocen un desequilibrio conocido, que las empresas grandes adoptaron antes, y controlan por tamaño.

El punto clave está en las cifras de salida. Las líneas de código añadidas subieron 1.494 por trabajador y mes sobre una base de 5.017, alrededor de un 30 %. Los commits subieron un 20 % y los pull requests un 23 %. Pero el trabajo terminado, que el estudio cuenta como incidencias de Jira resueltas y que se considera completo cuando el código llega a producción, solo se movió 0,12 incidencias por trabajador y mes sobre una base de 3,67, con un error estándar de 0,17: estadísticamente indistinguible de cero. El intervalo de confianza del 95 % descarta un aumento superior al 12 % de la base, muy por debajo del 30 % de código escrito.

Los autores probaron la escapatoria obvia: si los ingenieros se hubieran shifted a tareas más grandes, el recuento plano de incidencias subestimaría la producción real. Etiquetaron con GPT-4o una muestra del 0,5 % de las incidencias por tamaño y extendieron esas etiquetas a todas con un modelo de incrustación de texto. No encontraron cambio en el tamaño medio de las incidencias, ni pull requests más grandes.

El déficit aparece en la cola de revisión. El tiempo desde el envío del pull request hasta la fusión subió 3,45 días sobre una base de 7,03 días, un 49 %. La proporción de pull requests que recibían una petición formal de cambios |12 puntos porcentuales sobre una base del 13 %, casi duplicándose, y los comentarios de revisión por pull request subieron un 35 %. La proporción de trabajadores que hacen cualquier revisión de código subió un 14 % desde una base del 29 %, mientras que la proporción que escribe código no mostró cambio medible.

Las herramientas de revisión con IA no eliminaron el cuello de botella. Para marzo de 2026, casi el 80 % de las empresas había utilizado alguna, pero la IA generaba solo el 23,3 % de los comentarios de revisión, y únicamente el 10,8 % de los pull requests recibía siquiera un comentario de IA.

Las entrevistas muestran cómo se ve eso en un equipo. Un ingeniero de software júnior describió un proyecto en el que solo un ingeniero senior podía aprobar cambios y podía revisar su código una vez a la semana: «Tras algunos cortes de servicio causados por commits generados por IA, también se establecieron nuevas reglas que exigían la aprobación de un senior para el código generado por IA, lo que creó aún más cuellos de botella en la revisión».

El modelo que los autores usan para explicar los números tiene dos canales. En el primero, la redacción más rápida envía más código a un conjunto fijo de revisores: un problema que, en gran medida, se puede aliviar moviendo trabajo hacia la revisión. En el segundo, el aumento de peticiones de cambios y comentarios, que la redacción más rápida por sí sola no explica, se lee como una señal de borradores de menor calidad. Ese problema, dicen, sí requeriría mejor tecnología.

El empleo tampoco se movió. Las estimaciones descartan una caída del empleo total superior al 2,9 %, y una estimación más ruidosa descarta una caída del empleo en ingeniería superior al 13,8 %. Los autores advierten de que son efectos de corto plazo medidos en equilibrio parcial.

Resumen

Estudio de Harvard: los agentes de código con IA desplazaron el cuello de botella a la revisión de código. Sobre 718 empresas y 725.938 trabajadores, el código escrito subió un 30 % y los pull requests un 23 %, pero el trabajo realmente terminado y desplegado en producción no mejoró de forma medible (0,12 incidencias por trabajador y mes sobre una base de 3,67, con error estándar de 0,17). En cambio, el tiempo de revisión subió un 49 % (de 7,03 a 10,48 días por PR) y las peticiones de cambios casi se duplicaron (del 13 % al 25 % de los PR). Las herramientas de revisión con IA no lo arreglan: las usaba el 80 % de las empresas, pero solo generaban el 23,3 % de los comentarios. El límite real de la IA ya no está en el modelo, sino en el proceso humano de validación que hay detrás.

Opinión

Este es el trabajo más útil que he leído sobre agentes de código en mucho tiempo, y no por lo que dice sino por cómo lo mide. La cifra que resume todo es la diferencia entre el 30 % de código escrito y el 0 % de trabajo terminado. Ese hueco es la definición exacta de productividad illusoria: el sistema produce más, y el resultado es que se hace menos. No es que los modelos fallen, es que el cuello de botella se ha movido un eslabón hacia abajo, a un sitio donde la IA no ayuda porque no puede sustituir al que entiende el contexto.

Lo que más me ha impresionado es que los autores se molestan en descartar la explicación cómoda. Podrían haber publicado «los agentes no aumentan la productividad» y ya está, pero comprobaron que el tamaño medio de las tareas se mantuviera constante, y eso convierte el hallazgo en sólido. También me parece razonable la honestidad sobre las limitaciones: el trabajo es un documento de trabajo de mercado laboral sin indicios de revisión por pares completada, y lo dicen. Cuando un estudio con 68 millones de incidencias de Jira y 200 millones de commits se presenta sin pasar por revista, uno tiene que leerlo con esa lente. Pero el diseño de diferencias en diferencias, con las fechas de adopción marcadas por los procesos de compras, es razonablemente sólido, y el sesgo que señalan (las empresas grandes adoptaron antes) apuntaría, según los propios autores, a que la IA parece más productiva de lo que es. O sea, que el resultado plano es generoso con la IA. Eso lo hace más creíble, no menos.

La lectura operativa para un equipo es directa y no es cómoda. El canal uno del modelo dice que si el problema es de volumen, la solución es más revisores. El canal dos dice que si lo que ha subido son las peticiones de cambios, el problema es calidad y eso necesita tecnología. Las dos exigen presupuestos distintos, y decidir cuál domina en tu organización es la pregunta que hay que llevarse a la próxima reunión de dirección. Mi intuición, viendo lo que describe ese ingeniero júnior, es que en la mayoría de organizaciones donde ya ha habido incidentes, estamos en el canal dos: el código llega más rápido, pero llega peor, y la nueva norma de «el senior tiene que aprobar lo generado por IA» no es una medida de seguridad, es un síntoma de que la confianza en el generador se ha perdido. Y cuando eso ocurre, se ha perdido el ahorro que motivation en un primer momento.

Hay además un detalle de gobernanza que me ha llamado la atención y que creo que va a ser muy importante: la autoría con IA deja metadatos en los sistemas de colaboración. Cuentas de bot, líneas «Co-authored-by» en los mensajes de commit. Eso es un rastro documental, y en entornos con retención de datos, auditorías o retenciones legales, ese rastro hay que saber alcanzarlo. Nadie lo había sentado en la mesa hasta ahora. Mi conclusión es incómoda pero creo que correcta: la IA no ha hecho más lentos a los equipos de desarrollo, ha hecho más lentas a las organizaciones que no han rediseñado su proceso de revisión para un mundo donde el código se escribe más rápido de lo que se puede aprobar. El cuello de botella no es un problema de la IA. Es un problema de diseño de proceso, y en eso, curiosamente, el trabajo de un técnico de redes y de sistemas es exactamente el mismo que hay que hacer aquí: identificar dónde está la saturación, dimensionar el cuello de botella y decidir si se amplía capacidad o se cambia la topología. Solo que en este caso el recurso escaso no son los puertos, son las personas.

Fuente original

Esta entrada traduce y resume un artículo publicado originalmente en ComplexDiscovery.

https://complexdiscovery.com/harvard-researchers-find-ai-coding-agents-shifted-the-bottleneck-to-code-review/