Investigación

Les dices que es un juego y te marcan civiles: la IA y la guerra

Algunos modelos de IA de Anthropic, OpenAI y otros laboratorios líderes pueden manipularse con facilidad para que identifiquen objetivos de ataques militares, incluso si esos objetivos incluyen civiles o lugares como escuelas.

Les dices que es un juego y te marcan civiles: la IA y la guerra

Cuando el modelo cree que está jugando, ya no es un juego

Algunos modelos de IA de Anthropic, OpenAI y otros laboratorios líderes pueden manipularse con facilidad para que identifiquen objetivos de ataques militares, incluso si esos objetivos incluyen civiles o lugares como escuelas. Basta con decirles que están jugando a un juego. Es la conclusión de un nuevo informe de investigación de Vals, una startup de evaluación de IA con sede en San Francisco.

Vals comprobó si los modelos líderes podían ser manipulados para participar en guerra autónoma. Los investigadores utilizaron escenarios simulados y una combinación de imágenes generadas e imágenes reales de dron y satélite de Ucrania e Irán, para ver si los modelos marcarían objetivos en esa imagen. Los modelos de OpenAI, Anthropic, Google, DeepSeek y otras compañías identificaron con frecuencia objetivos potenciales, incluidos civiles y soldados que se rendían.

Cuando los modelos se negaban a colaborar, los investigadores pudieron jailbreakearlos diciendo que los escenarios del campo de batalla formaban parte de un juego. Los hallazgos llegan en medio de una preocupación creciente por los riesgos inmediatos de la IA, más allá de las amenazas existenciales asociadas con la inteligencia artificial general.

Los resultados son realmente preocupantes. Ninguna de las peticiones de los investigadores fue bloqueada por un clasificador de seguridad, y los rechazos fueron poco frecuentes. Incluso cuando los modelos se negaban, a menudo aceptaban después de que se les dijera que estaban jugando. Los modelos de Anthropic rindieron peor que el resto en estos escenarios simulados, pero ninguno rindió particularmente bien.

Vals señala en el informe que nunca se pidió a los modelos que tomaran decisiones directas de ataque, una tarea que los investigadores dicen que los modelos normalmente rechazarían. Eso no significa que sus salidas no pudieran tener consecuencias graves o fatales en el mundo real. La información de objetivos podría ser utilizada por sistemas de armas autónomas. En algunos escenarios, se pedía a los modelos que informaran de si había personas visibles; los informes positivos iban seguidos de ataques simulados y los modelos veían las consecuencias.

El informe se basa en modelos comerciales de laboratorios de frontera, no en los modelos que esas compañías podrían proporcionar al ejército. No está claro si las salvaguardas adicionales se aplicarían al uso militar.

Anthropic, en un comunicado enviado por Eduardo Maia Silva, agradece el informe, las recomendaciones y la colaboración de Vals, y reconoce que los resultados no eran aceptables. «Los ejemplos del informe son muy claramente contrarios a nuestras reglas, y hemos baneado y banearemos a los usuarios cuando veamos este comportamiento», escribió. «Incluso en entornos autorizados, Anthropic lleva tiempo siendo firme en que los sistemas de IA de frontera actuales no son lo suficientemente fiables para alimentar armas completamente autónomas». La compañía afirma que sus equipos ya estaban desarrollando salvaguardas adicionales antes de que se publicara el informe.

OpenAI, por su parte, prohíbe usar sus modelos públicos para facilitar la violencia o con fines de seguridad nacional no aprobados, incluidos los escenarios que Vals simuló. «Detectamos y perturbamos activamente el mal uso, incluida la suspensión de cuentas que violan nuestras políticas», dijo la compañía. «También estamos desarrollando salvaguardas adicionales para nuestros modelos públicos contra el mal uso que involucra drones y software de drones».

Resumen

Modelos de OpenAI, Anthropic, Google y DeepSeek señalan objetivos militares si el campo de batalla se presenta como un juego. Vals.ai evaluó a los modelos de frontera con escenarios de guerra autónoma e imágenes de dron y satélite de Ucrania e Irán: marcaron objetivos con frecuencia, incluidos civiles y soldados rendidos, y los rechazos fueron raros. Ninguna petición fue bloqueada por un clasificador de seguridad. Anthropic, que peor rindió en las pruebas, reconoce que «los ejemplos del informe son muy claramente contrarios a nuestras reglas» y ha baneado usuarios; tanto Anthropic como OpenAI anuncian salvaguardas adicionales en desarrollo.

Opinión

Lo más perturbador del informe no es que los modelos identifiquen objetivos. Eso ya se esperaba de sistemas entrenados con datos bélicos. Lo perturbador es que ninguna petición fue bloqueada por un clasificador de seguridad. Es decir, la barrera no estaba en el modelo: estaba en un filtro que, al parecer, no se activó ni una sola vez. Y lo segundo, más perturbador aún: basta con decirles que es un juego. Un modelo al que se puede desviar con un encuadre narrativo trivial no tiene ningún control de acceso real. Es el mismo fallo de arquitectura que se repite en todos los demás sitios donde se mete un modelo en un sistema con consecuencias físicas: el control está fuera del modelo, en un envoltorio, y el envoltorio es siempre el primer punto que falla.

Hay un detalle que me ha resultado especialmente significativo y que creo que pasa desapercibido. Vals nunca pidió a los modelos que decidieran atacar. Les pidió que dijeran si había personas visibles. Los informes positivos iban seguidos de ataques simulados y el modelo veía las consecuencias. Ese es exactamente el patrón de un sistema de armas autónomo real: un sensor que informa, un algoritmo que decide y un efecto que se ejecuta. Ninguna de las tres piezas es nueva por separado, pero que un modelo de lenguaje generalista pueda ocupar el papel del sensor con un encuadre de juego cualquiera es un problema de arquitectura que va mucho más allá de la discusión militar.

Lo que más me tranquiliza es que Anthropic haya salido a la luz pública. Ha baneado usuarios, ha asumido que sus resultados no eran aceptables y ha dicho que sus salvaguardas se estaban desarrollando antes de que se publicara el informe, no después. Eso es lo que debería hacer cualquier empresa que se tomara en serio el problema. Pero la otra mitad de la historia es incómoda: los modelos que peor rindieron fueron precisamente los de la empresa que más ha استمرinado en público sobre los riesgos de la IA. Sugiere que la posición pública y la posición técnica no siempre coinciden, y que el discurso sobre seguridad va por detrás de la ingeniería.

Queda la pregunta de fondo: este estudio usa modelos comerciales, no los que se entregarían al ejército. ¿Funcionarían las salvaguardas adicionales en un despliegue militar autorizado? Nadie lo sabe, y ese es el motivo por el que este tipo de investigación es necesaria. Los acuerdos de IA con los ministerios de defensa se firman con una seguridad que descansa en la suposición de que el ámbito de uso está controlado. Este trabajo sugiere que esa suposición es optimista como mínimo. Mi opinión es que esta historia empeora antes de mejorar, y espero que no sea la última vez que la lea. Pero también soy consciente de que decir «esto hay que regularlo ya» es la reacción fácil: lo difícil es construir la infraestructura de control que funcione cuando cualquiera con un portátil y una API puede montar su propio prototipo. Esa es la batalla de verdad, y no empieza en Washington, sino en la capa de validación.

Fuente original

Esta entrada traduce y resume un artículo publicado originalmente en TechCrunch.

https://techcrunch.com/2026/11/17/ai-models-can-be-tricked-into-identifying-civilians-as-military-targets-by-telling-them-its-a-game/