: Enquête Robots tueurs, essaims de drones armés… Le champ de bataille à l’heure de l’intelligence artificielle

"Terminator ne défilera pas au 14 juillet !" Le 5 avril 2019, la ministre des Armées, Florence Parly tient à faire passer un message clair : "La France refuse de confier la décision de vie ou de mort à une machine qui agirait de façon pleinement autonome et échapperait à tout contrôle humain." Autrement dit, la France refuse de fabriquer et d'employer des SALA (Systèmes d'armes létaux autonomes), 100 % autonomes, qui peuvent décider de tuer quelqu'un sans intervention humaine. Paris explique se concentrer uniquement sur les SALIA (Systèmes d'armes létaux intégrant de l'autonomie), où la main de l'Homme reste prépondérante.

Mais cela n'empêche pas la France de suivre de près ces technologies de plus en plus présentes sur le champ de bataille. Ainsi, dans un avis qu'il a rendu en 2021, le Comité d'éthique de la défense (créé en 2020) encourage à poursuivre la recherche sur le sujet, afin d'éviter tout décrochage scientifique et technique, mais aussi pour se défendre au cas où un État adverse ou un groupe terroriste emploierait des armes autonomes contre l'armée ou la population française.

"Nous ne faisons pas n'importe quoi, explique le délégué général pour l'armement Emmanuel Chiva, qui dirige la DGA (Direction générale de l'armement). Nous avons des lignes rouges qui sont : le respect du droit international, la présence d'un contrôle humain suffisant et surtout la permanence de la responsabilité du commandement. On ne veut pas donner à une machine les moyens de choisir sa propre mission. Mais le comité d'éthique ne nous a pas interdit de travailler sur ces systèmes autonomes."

"Il est indispensable que l'expérimentation précède la régulation et que ce ne soit pas le contraire", estime également l'ancien député La République En Marche, Fabien Gouttefarde, co-rapporteur d'une Mission d'information sur les armes autonomes. Ce dernier rappelle que "40% des brevets en matière d'intelligence artificielle sont détenus par la Chine, qui a déposé 30 000 brevets concernant l'IA en 2022, contre 17 000 pour les États-Unis."

"La problématique est un peu similaire à celle des armes chimiques, ajoute le directeur de l'Agence ministérielle de l'Intelligence artificielle de Défense (AMIAD), Bertrand Rondepierre. Si vous voulez être en mesure de répliquer face à ce type d'armes, vous êtes obligé de les étudier et de savoir les fabriquer pour pouvoir les analyser."

Le "tour de passe-passe" de la France

"La France effectue une sorte de tour de passe-passe, estime pour sa part la chercheuse à l'Institut français des relations internationales (IFRI), Laure de Roucy-Rochegonde. En agissant ainsi, les autorités françaises s'autorisent à développer les technologies qui permettent d'avoir des armes entièrement autonomes, tout en disant qu'il y aura toujours un humain dans la boucle. Mais la tendance est à l'accélération exponentielle du rythme de la guerre, avec parfois 20 secondes de temps de vérification pour une décision de frappe. C'est extrêmement court et ça tend à s'accélérer encore. On peut donc se retrouver dans une situation où l'humain n'aura plus le temps d'exercer son discernement et à ce moment-là, on sera obligé d'autonomiser complètement."

L'enjeu est considérable. La France va consacrer plus de deux milliards d'euros au développement de ses drones et robots d'ici 2030. Le Rafale du futur aura par exemple toujours un pilote mais sera accompagné d'un essaim de drones. Un supercalculateur classé secret-défense est également en train d'être installé au Mont Valérien, à Suresnes. Mais pour fournir ce matériel, c'est une société américaine qui a été retenue au lieu du groupe français Atos. Des dizaines de start-ups françaises issues de grands groupes industriels sont également en relation avec des laboratoires publics comme le CNRS (Centre national de la recherche scientifique) ou l'INRIA (Institut national de recherche en sciences et technologies du numérique). Le futur porte-avions nouvelle génération embarquera des systèmes d'IA ainsi qu'un porte-drones.

Combat connecté

Désormais, l'intelligence artificielle (IA) est partout au sein de l'armée, d'abord pour soulager les militaires de certaines de leurs tâches quotidiennes. "C'est un gain de temps incroyable quand vous êtes sur le terrain : l'IA peut vous assister et répondre à toutes vos questions, en vous évitant de vous plonger dans des manuels d'utilisation qui font des milliers de pages, explique Bertrand Rondepierre. Cela permet également de mieux prévoir les pannes sur le matériel. Le spectre d'application est faramineux."

Mais cela va bien au-delà. Car l'IA est désormais intégrée au champ de bataille. "La robotisation du champ de bataille semble inévitable, confirme Loïc Mougeolle qui dirige la société "Comand AI", une start-up de logiciels spécialisée dans l'intelligence artificielle appliquée à la Défense. Dans le futur, on a du mal à imaginer la présence d'un homme sur la ligne de front." Cette robotisation du champ de bataille se concrétise déjà par du matériel ultra-connecté, ce qu'on appelle l'internet des objets où la réalité numérique devient primordiale.

"C'est un changement de paradigme. Il faut d'abord s'intéresser au numérique et construire la tôle qui est autour, résume le directeur de l'AMIAD, Bertrand Rondepierre qui a travaillé auparavant pour le programme Deep Mind chez Google. Un char, un avion ou un bateau, c'est d'abord du matériel qui collecte des données avec leurs capteurs, même si évidemment il y a des humains à l'intérieur. Une heure de vol d'un Rafale correspond à 40 téraoctets de données collectées."

"Désormais, c'est l'avion de combat qui regarde le pilote, ajoute le délégué général pour l'armement, Emmanuel Chiva. Il fait en sorte que toute la charge mentale du pilote soit dédiée à la réussite de sa mission en lui présentant certaines informations. Des drones peuvent également accompagner le pilote et le suppléer pour continuer la mission jusqu'à la cible, ou encore créer un réseau de communications ad hoc autour de l'avion. C'est ça le combat connecté."

En octobre 2024, le groupe de Défense Thalès a présenté à Brétigny-sur-Orge dans l'Essonne ses premiers drones bombardiers, capables de fonctionner de manière semi-autonome. En 2040 est également attendu l'avion de combat du futur, le Scaf (Système de combat aérien du futur), l'un des projets européens d'armes connectées.

Un robot terrestre armé

Des robots terrestres peuvent aussi être déployés sur des terrains difficiles d'accès.

Depuis janvier 2021, l'armée française a mis en place un laboratoire, baptisé Battle Lab-Terre, chargé de travailler sur tous ces sujets, notamment dans le cadre du programme CoHoMa (Collaboration Homme-machine).

Gérald Lefebvre travaille pour la société Milrem Robotics, le leader mondial de la robotique de combat basé en Estonie, une société contrôlée par des capitaux émiratis. Au dernier salon Eurosatory de l'armement, en juin 2024 à Villepinte, près de Paris, il présentait son dernier robot chenillé "armé, avec des fumigènes et un lance-roquette 70 millimètres de chez Thalès." "Son principal objectif est d'aller au contact des forces ennemies, dit-il. Quand vous approchez d'une zone dangereuse et que vous ne voulez pas exposer vos hommes, vous envoyez le robot qui grâce à l'intelligence artificielle va pouvoir éviter les obstacles, détecter s'il y a ou non des menaces, et protéger si besoin les soldats restés à l'arrière."

Ce drone terrestre peut également servir de bouclier, de démineur, de dépanneuse et même d'ambulance pour ramener des blessés. "Pour des raisons éthiques, la fonction 'feu' de ce drone terrestre ne peut être opérée que par un homme", précise Gérald Lefebvre.

"Munitions rôdeuses" et drone kamikaze

Cependant, cette frontière éthique est en train de bouger sous la pression d'une autonomisation de plus en plus importante de ces armes. Des armes semi-autonomes très automatisées sont par exemple expérimentées en ce moment pour aller effectuer du déminage en mer. Une opération en temps normal extrêmement délicate. "Comme on n'a pas envie d'exposer des plongeurs, on va envoyer des bateaux autonomes qui vont déposer des torpilles ou des petits drones sous-marins", explique Nicolas Minvielle qui anticipe la guerre du futur à la Direction générale de la stratégie au ministère des Armées.

Plus sensible encore : cette nouvelle génération de drones bourrés d'IA et d'algorithme peut repérer des cibles potentielles et se jeter dessus comme des kamikazes afin de les détruire. Ou tourner longtemps comme des rapaces autour de leur proie avant de descendre pour lâcher ce qu'on appelle des "munitions rôdeuses".

Des drones armés peuvent aussi se coordonner entre eux et voler groupés en essaim pour former un nuage et mieux tromper l'adversaire, en changeant de cible au dernier moment. "Dans le cadre qu'on lui a donné, le drone peut décider que la cible A n'est plus prioritaire et aller sur la D", précise le consultant au ministère des Armées, Nicolas Minvielle.

L'Ukraine, laboratoire des armes autonomes

"Pour se nourrir, l'intelligence artificielle a besoin de données. Et pour recueillir ces données, il faut expérimenter. C'est pour ça que l'Ukraine constitue une 'mine d'or' pour l'industrie de défense, analyse la chercheuse à l'Institut français des relations internationales, Laure de Roucy-Rochegonde, auteure du livre La guerre à l'ère de l'intelligence artificielle. Quand les machines prennent les armes (Presses universitaires de France, 2024). Quand on veut avoir recours à ce type de systèmes, on a tout intérêt à les tester dans le plus de cadres différents, afin de capter le maximum de données opérationnelles permettant aux algorithmes de s'améliorer."

L'Ukraine est ainsi devenue comme une forge et un immense laboratoire pour le développement des drones et de l'intelligence artificielle appliquée à la guerre. Depuis l'offensive russe en Crimée en 2014, on a appris aux drones à voler sans GPS dans le brouillard électronique afin d'aller jusqu'au bout de leur mission.

Le grand reporter au Figaro, Cyrille Louis, s'est rendu avec des start-uppeurs ukrainiens sur le champ de manœuvres des drones terrestres et aériens à 20 kilomètres de Kiev : "Les ingénieurs ukrainiens ont imaginé équiper leurs drones d'un logiciel d'intelligence artificielle qui, lorsqu'il arrive à quelques mètres de sa cible, peut l'accrocher visuellement et la suivre, même si le signal avec l'opérateur s'interrompt".

La compagnie d'infanterie ukrainienne Gonor constitue le fer de lance de ce programme lancé en 2022 baptisé "l'armée des drones". "Ce système de drones par essaim va bientôt lui permettre de dessiner une zone de quelques kilomètres carrés dans laquelle l'opérateur pourra dire à son essaim de drones : je t'autorise à identifier toutes les cibles que tu jugeras être des cibles ennemies et à les frapper sans validation humaine", ajoute Cyrille Louis.

Une évolution qui inquiète le chercheur et professeur de robotique Raja Chatila pour qui "un pas est franchi" : "On va confier à des machines, une décision - la détermination précise de la cible - qui devrait être une décision humaine." En 2016, ce chercheur a signé la première lettre ouverte appelant à interdire ces armes avec le physicien Stephen Hawking.

Luke Skywalker de "La guerre des étoiles" aux géants de la Tech

Quant à la France, si elle ne livre pas à l'Ukraine des drones totalement autonomes, elle fournit des drones de reconnaissance semi-autonomes avec de l'IA embarqué, guidés à distance par l'homme. "Nous avons un attaché d'armement installé à Kiev, confirme le délégué général pour l'armement, Emmanuel Chiva. C'est triste à dire, mais le front ukrainien nous apporte beaucoup en termes de retour d'expérience, afin d'adapter nos armements à une forme de conflit qu'on n'avait pas connu depuis assez longtemps."

Parmi les Français présents en Ukraine, on peut citer NEXTER, rebaptisée KNDS, qui a créé une filiale ukrainienne pour assurer la maintenance des armes et former des opérateurs pour ses drones armés antichars. Mais ceux qui sont incontournables en Ukraine, ce sont les Américains. Ils soutiennent le programme ukrainien "l'armée des drones", lancé par la star américaine Mark Hamill qui incarne Luke Skywalker dans le film culte de George Lucas La guerre des étoiles.

Ce programme a attiré tous les grands noms de l'industrie liée à l'IA de défense américaine et même Boeing avec sa filiale Swarmer (ce qui veut dire "essaims" en référence aux essaims de drones), ou encore Anduril, proche de Palantir, dont le PDG Alex Karp se félicite que les soldats ukrainiens utilisent son logiciel contre l'armée russe.

"L'Ukraine est vraiment devenu l'eldorado de toutes ces entreprises, constate la chercheuse Laure de Roucy-Rochegonde, avec des acteurs comme Palantir ou Clearview AI qui étaient très sulfureux aux États-Unis parce qu'ils étaient considérés comme associés à des pratiques de surveillance de masse qui avaient fait scandale après les révélations d'Edward Snowden. Ils ont redoré leur blason en se présentant comme les sauveurs des Ukrainiens, en proposant gratuitement leur service, dans le but évidemment d'améliorer leur technique et de capter beaucoup de données."

De leur côté, les Russes ont également monté des usines de drones kamikazes avec le soutien de l'Iran, comme l'a révélé le Washington Post. Est-ce que ces robots tueurs peuvent être totalement autonomes ? Faute de preuves, on dispose d'indices. On a vu récemment par exemple un drone russe prototype abattu par les Russes eux-mêmes, au-dessus de l'Ukraine. On peut se demander s'il s'agissait d'un drone entièrement autonome dont ils auraient perdu le contrôle.

Un ciblage très aléatoire à Gaza

L'intelligence artificielle est également utilisée par l'armée israélienne dans ses bombardements à Gaza, à la suite des massacres du 7 octobre perpétrés par le Hamas. "L'opérateur qui se voit recommander une cible par un programme d'intelligence artificielle ne connaît pas précisément la nature des données qui ont permis de considérer qu'un individu était une cible légitime, explique la responsable du Centre géopolitique des technologies à l'IFRI, Laure de Roucy-Rochegonde. Il sait que des images satellites, des écoutes téléphoniques ou des images de drones ont été prises en compte, mais il ne connaît pas précisément leur contenu."

Le journaliste d'investigation israélien Yuval Abraham qui travaille pour le magazine + 972 (qui comprend des journalistes palestiniens) a révélé l'existence du programme militaire d'intelligence artificielle Lavender ("lavande") qui automatise le ciblage de potentiels membres du Hamas. Un ciblage en réalité très aléatoire, comme le montre l'enquête du journaliste qui s'appuie sur de multiples sources du renseignement.

"37 000 Gazaouis ont été identifiés comme des membres potentiels du Hamas, souligne Laure de Roucy-Rochegonde. Or, les opérateurs humains se sont aperçus qu'il y avait une marge d'erreur de 10 %. Donc dans 90 % des cas la personne identifiée était effectivement un membre du Hamas, mais dans 10 % des cas, elle ne l'était pas du tout."

Un autre programme utilisé par l'armée israélienne s'appelle 'Where is Daddy ?' ('Où est papa ?').  Il permet d'identifier les moments où les membres présumés du Hamas se trouvent chez eux, potentiellement avec leur famille. "Si on considère qu'une famille Gazaoui comprend en moyenne cinq personnes, en réalité sans doute plus, on se retrouve très vite avec des chiffres qui peuvent atteindre plus de 20 000 personnes qui sont victimes de frappes pour lesquelles elles n'ont aucune raison légale d'être ciblés", estime Laure de Roucy-Rochegonde.

Le travail d'investigation du magazine +972 a également révélé que dans les quatre premières semaines de la guerre, la seule chose que l'opérateur israélien cité dans l'enquête a eu le temps de vérifier était de savoir si la cible potentielle était un homme ou une femme.

Contactée par la cellule investigation de Radio France, l'armée israélienne répond que : "Les forces armées israéliennes n'utilisent pas de système d'intelligence artificielle qui identifie les agents terroristes ou tente de prédire si une personne est un terroriste. Les systèmes d'information ne sont que des outils pour les analystes dans le processus d'identification des cibles. [...] Le 'système' auquel vos questions font référence n'est pas un système, mais simplement une base de données dont l'objectif est de croiser les sources de renseignements, afin de produire des couches d'informations actualisées sur les agents militaires des organisations terroristes. Il ne s'agit pas d'une liste d'agents militaires confirmés pouvant être attaqués. [...] Pour chaque cible, les procédures des forces armées israéliennes exigent une évaluation individuelle de l'avantage militaire anticipé et des dommages collatéraux attendus. [...]. L'armée israélienne rejette catégoriquement l'affirmation selon laquelle il existe une politique visant à tuer des dizaines de milliers de personnes chez elles" (voir les réponses intégrales de l'armée israélienne en bas de page).

Une arme de destruction massive

Cette guerre de la vitesse accélérée par l'IA n'a fait que s'accroître sur le champ de bataille, depuis le 11 septembre 2001 et l'intervention américaine en Irak. "L'IA apparaît à un moment où il y avait un grand scepticisme par rapport à l'intérêt de l'outil militaire pour lutter contre le terrorisme et d'une manière générale faire la guerre, analyse le chercheur Mathias Delori, sociologue au CERI et au centre Marc Bloch à Berlin, auteur du livre "Ce que vaut une vie, théorie de la violence libérale" (éditions Amsterdam). Comme si cette technologie allait redonner un sens moral à cette pratique et répondre à la question : pourquoi avez-vous fait ces guerres alors qu'elles ont manifestement produit plus de vocations terroristes qu'elles n'en ont annihilées ?"

"On a eu ce vieux rêve de la frappe chirurgicale, qui consiste à penser que grâce à l'intelligence artificielle et à de super algorithmes, on allait tout capter, tout comprendre et super-cibler. Or ce qu'on voit par exemple à Gaza c'est que ce sont plutôt des armes de destructions massives, estime la politologue Asma Mhalla, spécialiste de l'intelligence artificielle et auteure du livre "Technopolitique. Comment la technologie fait de nous des soldats" (Seuil). Les systèmes ne sont pas défaillants. Nous sommes simplement pris dans la guerre de la vitesse et avons abdiqué sur le fait qu'à l'arrivée, il doit y avoir un arbitrage humain."

"Ces technologies sont le nerf de la guerre économique que se mènent différents blocs autour de la planète", ajoute le professeur de robotique Raja Chatila, qui plaide pour l'interdiction de ces armes.

Ce n'est pas le chemin qui est pris actuellement par les grandes puissances. Le 15 juillet 2024, l'ancien chef d'Etat-major de l'armée américaine, le général Mark Milley, a annoncé qu'un tiers de l'armée américaine sera robotisée et contrôlé par l'IA d'ici 20 ans.

Patrick Albert, ancien d'IBM, est l'un des pionniers français de l'intelligence artificielle. Il est allé consulter le site de l'Agence américaine de défense chargée de développer ces nouvelles technologies, la DARPA. "Il y est question d'un futur soldat robot humanoïde, dit-il. Tout ça est en route et dans la situation géopolitique actuelle, on voit mal l'administration américaine couper les financements de ses militaires."

Avec plus de 2000 entreprises en intelligence artificielle, les Américains réservent la production des puces dernière génération à leurs drones, en les interdisant à la vente en Chine. La Chine consacre officiellement cinq milliards de dollars au développement des drones militaires, quatre fois moins que les États-Unis.

"Arrêtons les robots tueurs"

"L'un des problèmes, c'est la facilité avec laquelle il est possible de développer ces armes. Il va donc être difficile de les contrôler, comme on le fait par exemple pour les armes nucléaires, estime le professeur en robotique Raja Chatila. C'est pour ça qu'il est important qu'il y ait une convention internationale pour interdire ce type d'armes, car dès qu'il y a une convention internationale, cela met une pression sur les États."

Dès 2010, une campagne internationale a été lancée sur ce thème, intitulée par la suite "Stop Killer Robots" ("Arrêtons les robots tueurs"). Le Français Patrick Albert soutient cette initiative : "L'humanité marche dans le brouillard, comme un somnambule, avec au bout probablement un précipice. Il s'agit d'une question politique qui doit être soumise à la démocratie. C'est la raison pour laquelle il faudrait convoquer rapidement une convention citoyenne sur le sujet."

Des initiatives que ne voient pas d'un bon œil les sociétés comme la start-up californienne Anduril qui monte au créneau dès qu'on parle de régulation des armes autonomes, en en faisant une question de sécurité nationale. Le gouverneur de Californie a mis son véto à tout cadre législatif.

"On a le sentiment que le développement de ces technologies se déroule un peu hors de tout contrôle, estime le grand reporter au Figaro, Cyrille Louis, qui a suivi des exercices de drones en Ukraine. Le gouvernement ukrainien vient d'annoncer qu'il se dotait d'un commandement des armes automatisées, mais on voit bien que la recherche foisonne tous azimuts. Quand on échange avec des patrons de start-ups qui travaillent sur ces systèmes, on a l'impression qu'ils vont répondre aux besoins exprimés par les unités militaires jusqu'à ce qu'on leur dise stop."

Réguler avant la catastrophe

"Il a fallu le gaz moutarde durant la Première Guerre mondiale pour ensuite interdire les gaz chimiques, il a fallu Hiroshima et Nagasaki pour encadrer les armes nucléaires, constate la chercheuse Laure de Roucy-Rochegonde. On peut citer d'autres exemples : les mines antipersonnel, les armes incendiaires, le napalm au Vietnam. Ce que disent les militants opposés aux robots tueurs autonomes, c'est qu'il faut réguler avant la catastrophe. Il faut trouver une manière d'encadrer ces armes, avant que le choc psychologique collectif ne rende nécessaire leur régulation."

On est encore loin d'un traité d'interdiction des robots tueurs autonomes, même si une résolution dans ce sens déposée par l'Autriche a déjà été adoptée par l'Assemblée générale des Nations unies. Car devant le Conseil de sécurité, avec l'abstention ou les vétos potentiels des Russes, des Chinois et des Américains, l'inaction est le scénario le plus probable. "On arrivera à peu de choses si les États-Unis et la Chine bloquent pour des raisons de puissance et de compétition stratégique", constate Asma Mhalla.

Pour que les choses bougent vraiment, il faudrait surtout que le débat sorte des cercles de spécialistes. Le prochain sommet mondial sur les risques associés à l'intelligence artificielle est prévu en février 2025, à Paris.

Lire la réponse intégrale (traduite de l'anglais) de l’armée israélienne aux questions de la cellule investigation de Radio France

Alerter la cellule investigation de Radio France : Pour transmettre une information à la cellule investigation de Radio France de manière anonyme et sécurisée, vous pouvez cliquer sur alerter.radiofrance.fr