Investigación

MedChemBench: la IA reconstruye moléculas, pero falla al elegir fármacos

OpenAI publica MedChemBench, un banco de pruebas con 99 problemas de química medicinal extraídos de 117 artículos y patentes, con 761 estructuras moleculares distintas.

MedChemBench: la IA reconstruye moléculas, pero falla al elegir fármacos

La IA sabe contar átomos, pero todavía no sabe qué compuesto probar

Hay un problema silencioso en el uso de la IA en los laboratorios de química: el modelo puede sonar convincente y, al mismo tiempo, equivocarse en un detalle que invalida todo el razonamiento posterior. Si confunde un anillo de dieciocho átomos por uno de quince, o parte una molécula en dos fragmentos, deja de estar hablando del compuesto correcto. Cualquier conclusión posterior, aunque bien redactada, se apoya sobre una entidad equivocada.

OpenAI acaba de publicar MedChemBench, un banco de pruebas que mide justamente esa capacidad: si los modelos de IA son capaces de leer estructuras moleculares, interpretar resultados experimentales y decidir qué compuesto merece la pena sintetizar después. Los resultados dibujan una línea divisoria bastante nítida entre lo que los modelos ya hacen bien y aquello donde todavía fallan de forma sistemática.

El banco de pruebas parte de 99 problemas extraídos de investigación ya publicada, con un contexto que reproduce el de un programa real de descubrimiento de fármacos: la diana biológica, los objetivos del equipo, los compuestos estudiados hasta ese momento y una selección de hallazgos experimentales. A partir de ahí, el modelo no inventa: razona sobre lo que se le da.

De esos 99 problemas salen cuatro componentes evaluados: la reconstrucción de estructuras moleculares, con sus conexiones entre átomos y su estereoquímica; el razonamiento científico, que debe apoyarse en la evidencia suministrada; la clasificación y la selección de compuestos; y las predicciones de propiedades, puntuadas por su cercanía a los valores medidos o calculados en el material original.

Los resultados separan con claridad las dos mitades. En la reconstrucción de estructuras, GPT-6.2 Astra se lleva el 84,5 % del crédito disponible en el ajuste de razonamiento xhigh, por delante del 83,3 % de GPT-6 Astra, el 82,0 % de GPT-6.1 Sol y el 58,2 % de GPT-5.6 Sol. subir el nivel de razonimiento no convierte a un modelo peor en uno bueno, solo separa más a los que ya entienden la tarea.

El ejemplo que el equipo de OpenAI destaca es una reconstrucción de molécula a partir de una estructura central y dos grupos conectados, conservando un anillo de dieciocho átomos. GPT-6 Astra acertó en las diez respuestas. GPT-5.6 Sol produjo un anillo de quince átomos y GPT-5.6 Luna partió la molécula en dos fragmentos separados. En ese componente de forma aislada, Astra obtuvo el 95,4 % del crédito disponible.

El reverso de la moneda es la selección y la predicción. En esas dos capacidades, Astra se queda alrededor de la mitad del crédito posible. Es la parte que más importa, porque elegir el compuesto que merece sintetizarse es exactamente el trabajo que ahorraría tiempo y dinero de laboratorio.

El caso de los inhibidores de PRMT5, una proteína estudiada en el descubrimiento de fármacos contra el cáncer, ilustra por qué. El modelo recibe estructuras y resultados previos, y debe predecir cómo se comportarán tres compuestos relacionados: con qué fuerza bloquean la proteína dentro de la célula, con qué facilidad atraviesan la barrera celular y con qué rapidez los enzimas hepáticos los degradan. Los experimentos posteriores, ocultos al modelo, mostraron un compromiso: el compuesto 23 bloqueaba la proteína a menor concentración, mientras que el 24 cruzaba mejor la barrera celular y se degradaba más despacio en el ensayo hepático.

La escala del benchmark no es trivial: se apoya en 117 artículos y patentes e incluye 761 estructuras moleculares distintas. OpenAI evaluó once modelos de GPT en distintos ajustes de esfuerzo de razonamiento. En la configuración compartida xhigh, Astra obtuvo el 83,3 % del crédito; con el nivel máximo de esfuerzo, GPT-6 Astra llegó al 83,8 %, y GPT-6.1 Terra se quedó en el 75,1 %. El gráfico cruza la puntuación con el consumo de tokens, una lectura que recuerda a cualquier informe de capacidad de un centro de datos: más tokens no es lo mismo que más aciertos.

La propia OpenAI pone los límites con bastante claridad. El banco de pruebas no demuestra que los modelos puedan descubrir fármacos nuevos ni que mejoren las decisiones de laboratorio. No se puede descartar que los modelos tuvieran exposición previa a los documentos publicados de origen. Cada respuesta fue un intento único, sin herramientas, sin realimentación y sin experimentos nuevos. Es una evaluación de razonamiento sobre evidencia histórica, no una simulación del descubrimiento real.

Aun así, el desglose de las cuatro capacidades aporta algo más útil que una puntuación global: un mapa. Si tu flujo de trabajo depende de que el sistema lea una estructura, esa parte está resuelta. Si depende de que el sistema diga cuál de los tres compuestos de tu mesa merece la próxima semana de sintetizador, todavía estás en fase de asistencia y no de automatización. Y el compromiso de PRMT5 explica bien por qué: la respuesta útil no es la del mejor número, es la que reconoce que el mejor número tiene un coste en otra propiedad.

Resumen

OpenAI publica MedChemBench, un banco de pruebas con 99 problemas de química medicinal extraídos de 117 artículos y patentes, con 761 estructuras moleculares distintas. Evalúa cuatro capacidades: reconstruir estructuras, razonar con la evidencia, clasificar y seleccionar compuestos, y predecir sus propiedades numéricas. En el ajuste de razonamiento xhigh, GPT-6.2 Astra alcanza el 84,5 % del crédito disponible, por delante del 83,3 % de GPT-6 Astra, el 82,0 % de GPT-6.1 Sol y el 58,2 % de GPT-5.6 Sol. En la reconstrucción molecular GPT-6 Astra acertó las diez respuestas de un anillo de 18 átomos, mientras que GPT-5.6 Sol y Luna fallaron todas, y Astra llegó al 95,4 % del crédito en ese componente. En selección de compuestos y predicción de propiedades, los mejores modelos se quedan cerca de la mitad del crédito posible: es la parte que sigue necesitando criterio humano. OpenAI advierte de que no se puede descartar exposición previa a los documentos publicados y de que cada respuesta fue un intento único, sin herramientas ni experimentos nuevos.

Opinión

Hay un paralelismo evidente con la forma en que la IA se está implantando en redes y telecomunicaciones. Durante años se ha evaluado si una IA podía reconstruir un protocolo, generar un comando o componer una topología: el resultado era un texto creíble, a menudo sintácticamente perfecto y a menudo sutilmente equivocado, porque el modelo no verificaba la estructura de lo que afirmaba. La diferencia entre un asistente útil y uno peligroso no está en la fluidez, está en si existe una capa que comprueba que el objeto con el que trabaja es el objeto correcto.

MedChemBench mide exactamente eso. Un modelo que dibuja una molécula con quince átomos en lugar de dieciocho no ha fallado en la redacción, ha fallado en la capa de verificación, y todo lo que diga después es ruido con formato de respuesta. Que hoy el error sea visible (y medible en las diez respuestas fallidas de GPT-5.6) es una buena noticia: significa que se puede automatizar la comprobación. El 95,4 % de crédito en estructuras no significa que el modelo entienda la química, significa que hoy la comprobación automática de esa parte es viable.

El punto débil es el más caro de todos: la selección. Un modelo que acierta el 95 % de las estructuras pero solo se queda en torno a la mitad de la selección y la predicción de propiedades es, en la práctica, un excelente digitalizador y un mediocre consultor. En el trabajo diario de un ingeniero, eso se parece a tener un transcriptor impecable y un criterio atemperado: te ahorra el teclear, no te ahorra el decidir. Y el ejemplo de PRMT5 recuerda que la decisión útil rara vez es la del valor máximo: es la que declara el compromiso entre tres propiedades y deja claro qué se sacrifica.

También hay que mirar con lupa el propio método. «Exposición previa no descartable» es, en realidad, una crítica al diseño del banco de pruebas, no un resultado sobre el modelo. Si el benchmark se apoya en 117 publicaciones que el modelo puede haber memorizado, la parte de razonamiento puro queda contaminada por el hecho de que la evidencia se le da escrita, sin herramientas y sin experimentos nuevos. Es una limitación reconocida por los propios autores, y conviene tenerla presente antes de vender la tabla como un mapa fiable de lo que la IA sabe hacer.

Mi conclusión práctica: MedChemBench confirma que la IA ya es útil en la capa de extracción y verificación, y todavía no es fiable en la capa de decisión con tradeoff. Quien monte un sistema sobre modelos debería colocar la confianza en la parte que se puede verificar automáticamente y dejar la decisión final en manos de alguien con criterio y acceso a los datos. Es exactamente el reparto que funciona en un centro de operaciones: la IA se encarga de leer, correlacionar y preparar, y la persona firma la decisión que tiene consecuencias.

Fuente original

Referencia y documentación original: OpenAI.

https://openai.com/index/introducing-medchembench