« Starcraft II » est l’un des jeux vidéo les plus joués en compétition. Blizzard entertainment

AlphaStar est un logiciel. Mais AlphaStar fait désormais partie de la crème des meilleurs joueurs mondiaux de Starcraft II : elle se place désormais dans les 0,2 % du haut de l’échelle. Et ce n’est pas une mince affaire. La complexité de ce jeu vidéo en a fait un des principaux axes de recherche de DeepMind, l’entreprise de Google à la pointe de la recherche en intelligence artificielle (IA) et à l’origine d’AlphaStar. C’est déjà DeepMind qui avait créé AlphaGo, le logiciel ayant réussi l’exploit, en 2016, de battre l’humain au jeu de go.

Dans un article publié mercredi 30 octobre par la prestigieuse revue scientifique Nature, les chercheurs de DeepMind détaillent leur nouvelle réussite. AlphaStar Final (la version du programme dont il est question ici) a joué, anonymement, contre de vrais joueurs sur la plate-forme Battle.net. Ce site appartient à Blizzard, l’éditeur de Starcraft II, et c’est ici que les joueurs du monde entier s’affrontent en ligne, divisés en quatre grandes régions (Europe, Amériques, Asie et Chine). Tous ont une place dans un immense classement, et les meilleurs d’entre eux accèdent à la ligue « grand maître » (« Grandmaster », en version originale). Celle-ci ne compte qu’une poignée de joueurs : deux cents pour chaque région.

AlphaStar a réussi à s’y hisser, se plaçant ainsi « au-dessus des 99,8 % de joueurs humains suffisamment actifs ces derniers mois pour intégrer une ligue de la région Europe (soit environ 90 000 joueurs) », écrivent les chercheurs dans leur article.

Un jeu difficile

Si Starcraft II, l’un des titres les plus joués en compétition de jeux vidéo, intéresse les chercheurs en IA, c’est qu’il s’agit d’un jeu complexe, très différent d’un jeu de plateau comme les échecs ou le go. Ce jeu de stratégie oppose des armées de races terrienne ou extraterrestre qui doivent extraire des ressources, comme du minerai ou du gaz, afin de bâtir des édifices militaires et attaquer leurs ennemis. Il impose aux joueurs de diriger des dizaines, voire des centaines d’unités simultanément, le tout en temps réel.

Un système d’IA doit donc gérer de nombreuses données à partir desquelles établir une stratégie face à un adversaire. Qui plus est, contrairement aux échecs ou au jeu de go, le joueur ne voit pas toute la zone de jeu, l’écran n’affichant qu’une partie de la carte, et un brouillard couvrant en partie les parties inexplorées. Il ne connaît donc pas, par exemple, toutes les positions de ses ennemis, et doit envoyer des unités pour la découvrir. Une difficulté supplémentaire pour l’IA.

Basé sur un réseau de neurones artificiels, AlphaStar s’est « entraîné » en observant des parties jouées par des humains, et en jouant contre différentes versions de lui-même, afin de s’améliorer continuellement.

Il a atteint le niveau « grand maître » dans les trois races avec lesquelles il est possible de jouer, disposant chacune de ses propres caractéristiques : Protoss, Terrans et Zergs. Il a respectivement atteint des cotes de 6 275, 6 048 et 5 835 – les meilleurs joueurs de la région Europe obtenaient, eux, mercredi 30 novembre, entre 5 487 et 6 933. Cela en fait « le premier agent d’intelligence artificielle à atteindre le meilleur niveau de performance humain, dans un jeu joué par des professionnels, sans simplifier le jeu », se réjouit DeepMind dans la revue Nature.

Un premier test, mais avec quelques privilèges

Si les jeux vidéo intéressent beaucoup les chercheurs en IA, leurs prouesses techniques sont souvent réalisées avec des règles différentes pour la machine. En janvier, par exemple, AlphaStar était déjà parvenu à battre des joueurs professionnels de Starcraft II, mais avec quelques privilèges. Le système était entraîné à jouer des matchs opposant deux équipes de Protoss, alors que l’un de ses adversaires n’était pas habitué à jouer à haut niveau avec cette race. De plus, alors que les joueurs humains doivent déplacer la caméra pour observer l’ensemble du champ de bataille, AlphaStar pouvait le voir en entier d’un coup – même si les unités adverses hors du champ de vision de ses troupes lui restaient inaccessibles, comme pour les joueurs humains.

« Cette fois, AlphaStar a les mêmes contraintes que celles des joueurs humains », insiste DeepMind sur son blog. Le logiciel doit notamment lui aussi déplacer sa « caméra », et a vu la fréquence de ses actions limitée dans sa programmation : il n’a pas le droit à plus de vingt-deux actions toutes les cinq secondes. Des contraintes « approuvées par un joueur professionnel », expliquent les chercheurs dans Nature. Il s’agit de Dario « TLO » Wünsch, qui avait affronté AlphaStar en janvier et a conseillé l’équipe de DeepMind pour modifier le programme afin qu’il ne dispose pas d’avantages injustes.

« AlphaStar ne semble pas surhumain »

« Bien qu’AlphaStar joue de façon excellente et très précise, il ne semble pas surhumain », a assuré TLO dans l’article publié par la revue. « Il est meilleur sur certains aspects que les humains, mais aussi moins bons sur d’autres. (…) Dans l’absolu, tout cela semble très équitable, on a l’impression de jouer une “vraie” partie de Starcraft, il n’y a pas un énorme déséquilibre dû à des capacités qui ne seraient pas réalistes. »

Les technologies conçues par DeepMind pour faire fonctionner AlphaStar dépassent l’usage du jeu vidéo. « Comme pour Starcraft, des domaines du monde réel, à l’instar des assistants personnels, des voitures autonomes ou de la robotique, doivent pouvoir prendre des décisions en temps réel », dans des environnements complexes, notamment en se basant « sur des informations imparfaites qu’ils observent », expliquent les chercheurs dans Nature. Ces technologies, disent-ils, « permettront de concevoir des systèmes d’IA plus efficaces et sûrs et, nous l’espérons, de progresser dans nos recherches concernant des domaines du monde réel ».