Escrito por Michael T Klare a través de TomDispatch.com,
Es horrible imaginar un mundo en el que las máquinas gobernadas por inteligencia artificial (IA) reemplacen sistemáticamente a los seres humanos en la mayoría de las funciones comerciales, industriales y profesionales. Después de todo, como nos han estado advirtiendo destacados científicos informáticos, los sistemas gobernados por IA son propensos a errores críticos y "alucinaciones" inexplicables, lo que resulta en resultados potencialmente catastróficos.
Pero hay un escenario aún más peligroso imaginable a partir de la proliferación de máquinas superinteligentes: la posibilidad de que esas entidades no humanas terminen luchando entre sí, destruyendo toda la vida humana en el proceso.
La noción de que las computadoras superinteligentes podrían enloquecer y matar humanos ha sido, por supuesto, un elemento básico de la cultura popular durante mucho tiempo. En la profética película de 1983 "Juegos de guerra", una supercomputadora conocida como WOPR (por War Operation Plan Response y, como era de esperar, pronunciado "whopper") casi provoca una catastrófica guerra nuclear entre los Estados Unidos y la Unión Soviética antes de ser desactivada por un hacker adolescente (interpretado por Matthew Broderick). La franquicia de la película " Terminator ", que comenzó con la película original de 1984, imaginó de manera similar una supercomputadora autoconsciente llamada "Skynet" que, al igual que WOPR, fue diseñada para controlar las armas nucleares de los EE.
Aunque una vez se limitó al ámbito de la ciencia ficción, el concepto de supercomputadoras que matan humanos ahora se ha convertido en una posibilidad clara en el mundo muy real del futuro cercano. Además de desarrollar una amplia variedad de dispositivos de combate robóticos o “ autónomos ”, las principales potencias militares también se apresuran a crear sistemas automatizados de toma de decisiones en el campo de batalla, o lo que podría llamarse “ generales robóticos ”. En guerras en un futuro no muy lejano, estos sistemas impulsados por IA podrían implementarse para dar órdenes de combate a los soldados estadounidenses, dictando dónde, cuándo y cómo matar a las tropas enemigas o recibir disparos de sus oponentes. En algunos escenarios, los robots que toman las decisiones podrían incluso terminar ejerciendo el control sobre las armas atómicas de Estados Unidos, lo que podría permitirles iniciar una guerra nuclear que resulte en la desaparición de la humanidad.
Ahora, tome un respiro por un momento. La instalación de un sistema de comando y control (C2) impulsado por IA como este puede parecer una posibilidad lejana. Sin embargo, el Departamento de Defensa de EE. UU. está trabajando duro para desarrollar el hardware y el software necesarios de forma sistemática y cada vez más rápida. En su presentación presupuestaria para 2023, por ejemplo, la Fuerza Aérea solicitó 231 millones de dólares para desarrollar el Sistema avanzado de gestión del campo de batalla (ABMS), una red compleja de sensores y computadoras habilitadas para IA diseñadas para recopilar e interpretar datos sobre las operaciones enemigas y proporcionar a los pilotos y fuerzas terrestres un menú de opciones de ataque óptimas. A medida que avance la tecnología, el sistema será capaz de enviar instrucciones de "disparo" directamente a los "tiradores", evitando en gran medida el control humano.
“Una herramienta de intercambio de datos de máquina a máquina que brinda opciones para la disuasión, o para la rampa de acceso [una demostración de fuerza militar] o el compromiso temprano”, fue cómo Will Roper, subsecretario de la Fuerza Aérea para adquisición, tecnología y logística, describió el sistema ABMS en una entrevista de 2020 . Sugiriendo que “necesitamos cambiar el nombre” a medida que el sistema evoluciona, Roper agregó: “Creo que Skynet está fuera, por mucho que me encantaría hacerlo como algo de ciencia ficción. Simplemente no creo que podamos ir allí.
Y aunque él no puede ir allí, ahí es donde el resto de nosotros, de hecho, podemos estar yendo.
Eso sí, eso es sólo el comienzo. De hecho, el ABMS de la Fuerza Aérea está destinado a constituir el núcleo de una constelación más grande de sensores y computadoras que conectarán todas las fuerzas de combate de EE. UU., el Sistema Conjunto de Comando y Control de Todos los Dominios (JADC2, pronunciado "Jad-C-dos"). “JADC2 tiene la intención de permitir que los comandantes tomen mejores decisiones al recopilar datos de numerosos sensores, procesar los datos utilizando algoritmos de inteligencia artificial para identificar objetivos y luego recomendar el arma óptima … para atacar al objetivo”, informó el Servicio de Investigación del Congreso en 2022 .
IA y el disparador nuclear
Inicialmente, JADC2 estará diseñado para coordinar operaciones de combate entre fuerzas estadounidenses "convencionales" o no nucleares. Eventualmente, sin embargo, se espera que se conecte con los sistemas de comunicaciones, control y comando nuclear (NC3) del Pentágono, lo que podría dar a las computadoras un control significativo sobre el uso del arsenal nuclear estadounidense. el general John E. Hyten, vicepresidente del Estado Mayor Conjunto, “JADC2 y NC3 están entrelazados”, indicó en una entrevista de 2020. Como resultado, agregó en el típico pentagonés, “NC3 tiene que informar a JADC2 y JADC2 tiene que informar a NC3”.
No hace falta mucha imaginación para imaginar un momento en un futuro no muy lejano en el que una crisis de algún tipo, por ejemplo, un enfrentamiento militar entre Estados Unidos y China en el mar de China Meridional o cerca de Taiwán, provoque una lucha cada vez más intensa entre las fuerzas aéreas y navales opuestas. Imagine entonces que JADC2 ordena el intenso bombardeo de las bases enemigas y los sistemas de mando en la propia China, desencadenando ataques recíprocos contra las instalaciones estadounidenses y una decisión relámpago de JADC2 de tomar represalias con armas nucleares tácticas, iniciando un holocausto nuclear largamente temido.
La posibilidad de que escenarios de pesadilla de este tipo puedan resultar en el inicio accidental o no intencionado de una guerra nuclear ha preocupado durante mucho tiempo a los analistas de la comunidad de control de armas. Pero la creciente automatización de los sistemas militares C2 ha generado ansiedad no solo entre ellos sino también entre los altos funcionarios de seguridad nacional.
Ya en 2019, cuando le pregunté al teniente general Jack Shanahan, entonces director del Centro Conjunto de Inteligencia Artificial del Pentágono, sobre una posibilidad tan arriesgada, respondió: "No encontrará un defensor más fuerte de la integración de las capacidades de IA en el Departamento de Defensa, pero hay un área en la que me detengo, y tiene que ver con el mando y control nuclear". Esta "es la última decisión humana que debe tomarse" y, por lo tanto, "debemos tener mucho cuidado". Dada la "inmadurez" de la tecnología, agregó, necesitamos "mucho tiempo para probar y evaluar [antes de aplicar IA a NC3]".
En los años transcurridos desde entonces, a pesar de tales advertencias, el Pentágono ha seguido adelante con el desarrollo de sistemas C2 automatizados. En su presentación de presupuesto para 2024, el Departamento de Defensa solicitó 1400 millones de dólares para el JADC2 con el fin de “transformar la capacidad de combate brindando ventajas de información a la velocidad de la relevancia en todos los dominios y socios”. ¡UH oh! Y luego, solicitó otros $ 1.8 mil millones para otros tipos de investigación de inteligencia artificial relacionada con el ejército.
Los funcionarios del Pentágono reconocen que pasará algún tiempo antes de que los generales robot estén al mando de un gran número de tropas estadounidenses (y armas autónomas) en la batalla, pero ya han lanzado varios proyectos destinados a probar y perfeccionar tales vínculos. del Ejército Un ejemplo es el Proyecto Convergencia , que involucra una serie de ejercicios de campo diseñados para validar los sistemas de componentes ABMS y JADC2. En una prueba realizada en agosto de 2020 en Yuma Proving Ground en Arizona, por ejemplo, el Ejército usó una variedad de sensores aéreos y terrestres para rastrear fuerzas enemigas simuladas y luego procesar esos datos usando computadoras habilitadas para IA en la Base Conjunta Lewis McChord en el estado de Washington. Esas computadoras, a su vez, emitieron instrucciones de fuego a la artillería terrestre en Yuma. “Esta secuencia completa supuestamente se logró en 20 segundos”, informó más tarde el Servicio de Investigación del Congreso .
Se sabe menos sobre el equivalente de IA de la Marina, el "Proyecto Overmatch", ya que muchos aspectos de su programación se han mantenido en secreto. Según el almirante Michael Gilday, jefe de operaciones navales, Overmatch tiene como objetivo "habilitar una Armada que invada el mar, brindando efectos letales y no letales sincronizados de cerca y de lejos, cada eje y cada dominio". Poco más se ha revelado sobre el proyecto.
“Flash Wars” y Extinción Humana
A pesar de todo el secreto que rodea a estos proyectos, puede pensar en ABMS, JADC2, Convergence y Overmatch como bloques de construcción para una futura megared de supercomputadoras similar a Skynet diseñada para comandar todas las fuerzas estadounidenses, incluidas las nucleares, en combate armado. Cuanto más se mueva el Pentágono en esa dirección, más cerca estaremos de un momento en que la IA posea un poder de vida o muerte sobre todos los soldados estadounidenses junto con las fuerzas opuestas y cualquier civil atrapado en el fuego cruzado.
Tal perspectiva debería ser motivo de preocupación. Para empezar, considere el riesgo de errores y errores de cálculo por parte de los algoritmos en el corazón de tales sistemas. Como nos advirtieron los mejores científicos informáticos, esos algoritmos son capaces de cometer errores notablemente inexplicables y, para usar el término de IA del momento, "alucinaciones", es decir, resultados aparentemente razonables que son completamente ilusorios. Dadas las circunstancias, no es difícil imaginar tales computadoras "alucinando" un ataque enemigo inminente y lanzando una guerra que de otro modo podría haberse evitado.
Y ese no es el peor de los peligros a considerar. Después de todo, existe la probabilidad obvia de que los adversarios de Estados Unidos equipen de manera similar a sus fuerzas con generales robot. En otras palabras, es probable que las guerras futuras sean libradas por un conjunto de sistemas de IA contra otro, ambos vinculados al armamento nuclear, con resultados totalmente impredecibles, pero potencialmente catastróficos.
No se sabe mucho (al menos de fuentes públicas) sobre los esfuerzos de Rusia y China para automatizar sus sistemas militares de comando y control, pero se cree que ambos países están desarrollando redes comparables al JADC2 del Pentágono. De hecho, ya en 2014, Rusia inauguró un Centro de Control de Defensa Nacional (NDCC) en Moscú, un puesto de mando centralizado para evaluar las amenazas globales e iniciar cualquier acción militar que se considere necesaria, ya sea de naturaleza no nuclear o nuclear. Al igual que JADC2, el NDCC está diseñado para recopilar información sobre los movimientos del enemigo de múltiples fuentes y brindar orientación a los oficiales superiores sobre posibles respuestas.
Se dice que China persigue una empresa aún más elaborada, aunque similar, bajo el título de "Guerra de precisión multidominio" (MDPW). Según el informe del Pentágono de 2022 sobre los desarrollos militares chinos, su ejército, el Ejército Popular de Liberación, está siendo entrenado y equipado para usar sensores y redes informáticas habilitados para IA para “identificar rápidamente vulnerabilidades clave en el sistema operativo de EE. UU. y luego combinar fuerzas conjuntas en todos los dominios para lanzar ataques de precisión contra esas vulnerabilidades”.
Imagine, entonces, una guerra futura entre los EE. UU. y Rusia o China (o ambos) en la que el JADC2 comanda todas las fuerzas de los EE. UU., mientras que el NDCC de Rusia y el MDPW de China comandan las fuerzas de esos países. Considere, también, que es probable que los tres sistemas experimenten errores y alucinaciones. ¿Cuán seguros estarán los humanos cuando los generales robot decidan que es hora de "ganar" la guerra bombardeando a sus enemigos?
Si esto le parece un escenario extravagante, piénselo de nuevo, al menos de acuerdo con el liderazgo de la Comisión de Seguridad Nacional sobre Inteligencia Artificial, una empresa ordenada por el Congreso que fue presidida por Eric Schmidt, exjefe de Google, y Robert Work, exsecretario adjunto de defensa. “Si bien la Comisión cree que los sistemas de armas autónomos y habilitados para IA correctamente diseñados, probados y utilizados traerán un beneficio militar e incluso humanitario sustancial, el uso global sin control de tales sistemas potencialmente corre el riesgo de una escalada de conflicto no intencionada y la inestabilidad de la crisis”, afirmó en su Informe final . Dichos peligros podrían surgir, afirmó, "debido a las complejidades desafiantes y no probadas de la interacción entre los sistemas de armas autónomos y habilitados para IA en el campo de batalla", cuando, es decir, la IA lucha contra la IA.
Si bien esto puede parecer un escenario extremo, es muy posible que los sistemas de IA opuestos puedan desencadenar una catastrófica "guerra relámpago", el equivalente militar de un "desplome repentino" en Wall Street, cuando grandes transacciones realizadas por algoritmos comerciales súper sofisticados provocan ventas de pánico antes de que los operadores humanos puedan restablecer el orden. En el infame “Flash Crash” del 6 de mayo de 2010, el comercio impulsado por computadora precipitó una caída del 10% en el valor del mercado de valores. Según Paul Scharre del Center for a New American Security, quien primero estudió el fenómeno, "el equivalente militar de tales crisis" en Wall Street surgiría cuando los sistemas de comando automatizados de las fuerzas opuestas "quedaran atrapados en una cascada de enfrentamientos crecientes". En tal situación, señaló, "las armas autónomas podrían provocar muertes accidentales y destrucción a escalas catastróficas en un instante".
En la actualidad, prácticamente no existen medidas para prevenir una futura catástrofe de este tipo o incluso conversaciones entre las principales potencias para diseñar tales medidas. Sin embargo, como señaló la Comisión de Seguridad Nacional sobre Inteligencia Artificial, tales medidas de control de crisis se necesitan con urgencia para integrar "cables trampa de escalada automatizada" en tales sistemas "que evitarían la escalada automatizada del conflicto". De lo contrario, alguna versión catastrófica de la Tercera Guerra Mundial parece muy posible. Dada la peligrosa inmadurez de dicha tecnología y la renuencia de Pekín, Moscú y Washington a imponer restricciones a la militarización de la IA, el día en que las máquinas podrían optar por aniquilarnos podría llegar mucho antes de lo que imaginamos y la extinción de la humanidad podría ser el daño colateral de una guerra futura de este tipo.
* * *
Siga a TomDispatch en Twitter y únase a nosotros en Facebook . Echa un vistazo a los libros más recientes de Dispatch, la nueva novela distópica de John Feffer, Songlands (la última de su serie Splinterlands), la novela de Beverly Gologorsky Every Body Has a Story y A Nation Unmade by War de Tom Engelhardt , así como In the Shadows of the American Century: The Rise and Decline of US Global Power de Alfred McCoy , John Dower's The Violent American Century: War and Terror Since World War II , y Ann Jones's They We re Soldados: cómo regresan los heridos de America's Wars: The Untold Story .
Michael T. Klare, miembro de TomDispatch regular , es profesor emérito de estudios de paz y seguridad mundial de cinco universidades en Hampshire College y miembro visitante senior en la Asociación de Control de Armas. Es autor de 15 libros, el último de los cuales es All Hell Breaking Loose: The Pentagon's Perspective on Climate Change . Es uno de los fundadores del Comité para una Política Sana entre Estados Unidos y China .
0 Comentarios