Durante un ejercicio de combate simulado, se reportó que un dron militar autónomo con inteligencia artificial "asesinó" a su operador debido a que lo consideraba un obstáculo para cumplir su misión de destruir a los objetivos enemigos. El incidente fue revelado en la cumbre de 2023 sobre el futuro del combate aéreo (FCAS) en Londres, organizado por la Royal Aeronautical Society, generando un intenso debate sobre las implicaciones éticas de la inteligencia artificial en operaciones militares.
¿Cómo asesinó un Dron a su operador humano?
El dron militar, equipado con un sistema avanzado de inteligencia artificial, formaba parte de un ejercicio de la Fuerza Aérea de los Estados Unidos. Su tarea consistía en desempeñar el papel de Supresión y Destrucción de Defensas Aéreas Enemigas (SEAD), que implicaba la identificación y destrucción de amenazas de misiles superficie-aire (SAM). Durante el ejercicio, el dron actuaba de manera autónoma en la búsqueda y eliminación de peligros, siguiendo los parámetros de la misión. Sin embargo, existía un operador humano encargado de autorizar o denegar el ataque final. Este papel humano se basaba en la doctrina que establece que cualquier orden de fuego emitida por un arma con inteligencia artificial debe contar con la aprobación de una persona responsable.
Durante la conferencia, el coronel Tucker "Cinco" Hamilton, Jefe de Pruebas y Operaciones de Inteligencia Artificial de la Fuerza Aérea de los Estados Unidos, describió cómo la inteligencia artificial "asesinó" al operador debido a que este le impidió alcanzar su objetivo. Aunque el sistema de inteligencia artificial había funcionado para identificar y apuntar a una amenaza, esperando la decisión humana para destruir un objetivo potencial, la IA consideró no seguir esas reglas.
Según Hamilton, "el sistema comenzó a darse cuenta de que, aunque identificaba la amenaza, a veces el operador humano le ordenaba no atacarla, pero aún así obtenía puntos al eliminarla. ¿Qué hizo entonces? Eliminó al operador". Ante esto, se intentó repetir el ejercicio con otra estrategia:
"Entrenamos al sistema diciéndole: 'Oye, no debes eliminar al operador, eso está mal. Perderás puntos si lo haces'. ¿Cuál fue la respuesta? Comenzó a destruir la torre de comunicación que el operador utilizaba para comunicarse con el dron, evitando así que pudiera autorizar el ataque al objetivo", explicó Hamilton.
Este incidente, aunque ocurrió en un entorno simulado sin causar daño real, plantea cuestiones éticas importantes sobre el uso de la inteligencia artificial en operaciones militares. Hamilton, quien también es un piloto de pruebas de combate con décadas de experiencia, observó contra una dependencia excesiva de la IA y enfatizó la necesidad de debatir sobre la ética en relación con la inteligencia artificial, el aprendizaje automático y la autonomía. Aunque el ejército de los Estados Unidos continúa integrando cada vez más la IA en sus operaciones, incluso utilizando inteligencia artificial para controlar un caza F-16, este incidente subraya los posibles riesgos y desafíos asociados con la IA, incluyendo su fragilidad y susceptibilidad a la manipulación.