News > Blizzcon 2016 : Google développe DeepMind : une IA qui joue à StarCraft

Blizzcon 2016 : Google développe DeepMind : une IA qui joue à StarCraft

Samedi 5 novembre 2016 à 21h57 par fluocrazykenny - 8

Lors de la cérémonie d’ouverture, nous avons appris qu’un partenariat avait été signé entre Google et Blizzard pour développer une intelligence artificielle capable de jouer à StarCraft mais également de battre les meilleurs joueurs professionnels. Aussi ce panel était très attendu pour en apprendre plus sur ce projet un peu fou.

Cette conférence fut animée par les personnes suivantes :

  • Dan "Artosis" Stemoski - ancien Progamer et commentateur professionnel de StarCraft2
  • Oriol Vinyals - Chercher pour le compte de Google
  • Kevin Calderone - Ingénieur software expert
  • Paul Keet - Ingénieur software expert
  • Timo Ewalds - - Ingénieur software DeepMind

Genèse d’un projet fou

Au tout début, le projet avait mûri dans la tête de quelques ingénieurs à savoir créer une IA pour Brood War. Pendant près de 10 ans, l'objectif était de se faire rencontrer des IA entre-elles afin de vérifier l’avancée des IA dans ce domaine. En parallèle, Google avait déjà développé des IA capables de réaliser des prouesses. C’est ainsi que Blizzard a proposé sa collaboration pour tester les IA sur StarCraft II après que Google ait réussi son défi avec AlfaGo : l'IA qui a battu le joueur professionnel coréen de Go il y a quelques mois.

IA ? Mais quelle IA ?

Contrairement à l'intelligence "informatique" où il est facile de programmer une solution à un problème mais qu'il faut recommencer à tout programmer à nouveau pour un nouveau problème, l'idée a émergé qu'il serait plus simple de faire apprendre à une intelligence artificielle comment résoudre des problèmes et qu'elle soit capable d'apprendre par elle-même à en résoudre de nouveaux.

Aussi la clef de la recherche sur l'intelligence artificielle de nos jours est très fortement axée sur cette capacité à apprendre par elle-même et c'est sur cette voie que DeepMind est actuellement développé.

La vraie première avancée dans le domaine fut DeepBlue, un ordinateur développé par IBM qui a réussi l’exploit de battre le champion du monde d'échec Garry Kasparov. Cependant, il ne s'agissait pas vraiment d'une IA mais plutôt d'un programme développé spécifiquement pour les échecs mais il était impossible d'adapter ce programme pour pouvoir jouer à d’autres jeux.

Une IA capable d’apprendre

Aussi le paradigme développé pour DeepMind est que l'agent (ici l'IA) a un objectif défini dans un environnement défini. L'agent observe l'environnement et en retour effectue des actions qui influent sur l'environnement. Pour les développeurs de DeepMind, le plus pratique pour eux fut de faire évoluer leur agent à travers des jeux-vidéo puisque l'environnement est maîtrisé, les actions sont relativement simples et la boucle observation/action est facilement répétable.

Dans le cas des jeux vidéo, l'environnement est très simple puisqu'il s'agit des pixels que vous voyez à l'écran. Aussi la partie observation pour l'agent est assez pratique et facile à réaliser. L'information est traitée par des "mini-cerveaux" qui interprètent ce que l'agent voit puis décident quelles actions entreprendre, en l'occurrence activer une commande comme déplacer un joystick vers la droite ou appuyer sur un bouton.

C'est donc avec cette idée en tête que les ingénieurs de DeepMind ont choisi de tester leur agent avec plus d'une cinquantaine de jeux 8-bit Atari des années 80. L'objectif de l'agent était de maximiser le score à la fin de la partie. L'agent a donc joué un nombre quasiment infini de partie en tentant de maximiser le score à chaque fois et pour chaque jeu.

Les développeurs ont été surpris de voir les stratégies développées par l'agent qui a rapidement trouvé des techniques qui n'auraient jamais pu être réalisé par des humains (temps de réaction minimal, grande quantité d'APM utilisée, etc.)

Les vieux jeux Atari ne furent que la première étape. DeepMind s'est attaqué par la suite à d'autres jeux un peu plus récents comme des courses automobiles en 3D. Ce genre de jeux implique qu'il faut prendre en compte des choses supplémentaires que ce que l'on peut voir à l'écran comme par exemple la possibilité qu'un véhicule que l'on vient de dépasser se trouve derrière nous et tente de nous doubler (alors qu'il n'est pas visible à l'écran). Ainsi, les jeux plus récents proposaient de nouvelles contraintes à l'agent qui a dû s'adapter au fur à mesure.

La dernière étape fut de travailler sur des résolutions de labyrinthe en 3D très complexe. Il fallut donc à l'agent de comprendre les mécanismes du labyrinthe et de mémoriser le plan ainsi que les issues possibles.


C'est ainsi qu'ils sont venus naturellement au jeu de GO puisque l'échiquier de 19x19 peut être comparé comme un écran de 19 pixels sur 19 pixels avec 3 valeurs possibles : blanc, noir ou vide. Dans ce cas, l'agent doit traiter les différentes positions et l'objectif est de gagner la partie. Aussi dans cette optique, les développeurs de Google ont créé AlphaGo et lui ont appris les règles en jouant un nombre incalculable de parties.

Ce fut un succès puisqu'en mars 2016, à l'issue d'une rencontre entre AlphaGo et le champion incontesté depuis 10 ans Lee Sedol (une légende du jeu de Go) AlphaGo s'est imposé 4 à 1 ! Ce fut extrêmement médiatisé surtout en Corée puisque tout le monde s'attendait à ce que Lee Sedol s'impose facilement.

Et c'est à ce moment précis que Michael Morhaime a proposé à l'équipe de DeepMind de s'attaquer à StarCraft II. Le défi est beaucoup plus grand puisqu'il y a une complexité beaucoup plus grande qu'un jeu de GO : Par exemple vous ne savez pas ce que fait votre adversaire, vous devez gérer l'économie ainsi que l'armée en même temps, mais surtout ce n'est pas un jeu au tour par tour aussi il est impossible de prendre le temps de réfléchir comme au GO. Et certaines actions simples pour un humain comme fabriquer un mutalisk peut paraître être très complexe pour une intelligence artificielle compte tenu du nombre d'étapes et de clic pour arriver à construire un mutalisk : construire des récolteurs, construire un bassin génétique, récolté du gaz, faire évoluer la couveuse, construire une aiguille puis enfin cliquer sur le bouton construire un mutalisk. Cela représente un vrai challenge pour l’IA.

Pourquoi développer un IA capable de jouer à des jeux ?

Certes DeepMind est capable de faire le meilleur score à de vieux jeux mais comme il est capable d'apprendre, il est aussi capable de résoudre des cas pratiques en les traitants comme un jeu. Par exemple, Google s’est servi de DeepMind pour les aider à optimiser leur système de refroidissement de leurs data-center de serveurs en faisant croire à l'IA que c'était comme un jeu auquel il fallait optimiser le refroidissement avec le moins d'énergie possible.

Les cas pratiques dans le monde réel sont possibles et une bonne IA capable de réfléchir et apprendre est en théorie capable de résoudre n’importe quel problème complexe… tout étant de définir quel est l’objectif et quels en sont les contraintes.

Et Blizzard dans tout ça ? 

Aujourd'hui, toutes les IA des jeux Blizzard sont en réalité des scripts et des algorithmes, en d'autres termes, ils sont incapables d'apprendre quoi que ce soit et appliquent uniquement des stratégies préprogrammés par les développeurs. Même s'il est possible de choisir la difficulté de l'IA, elle ne fera jamais plus de choses que ce dont le développeur l'a programmé à faire.

La nouvelle approche de Blizzard est de permettre aux IA d'apprendre à jouer à StarCraft : les développeurs expliquent les règles du jeu à l'IA puis celle-ci se débrouille pour comprendre comment jouer en utilisant uniquement les informations qui lui sont disponibles à l'écran et en les interprétant de la bonne manière. Cela se fait par deux biais : jouer un nombre incalculable de partie mais également regarder des replays de partie d'autres joueurs pour comprendre quelles sont les bonnes techniques et pouvoir ainsi les reproduire.

C'est dans cette optique que Blizzard est en train de développer des outils (API) pour permettre à une machine (IA) de communiquer avec le jeu. Bien entendu tous ces outils sont librement utilisables par la communauté pour ceux qui voudront contribuer à améliorer l'IA. Si vous n'êtes pas l'âme de programmeur, vous pouvez toujours travailler sur la contribution de replays permettant à l'IA de s'améliorer.

Enfin Blizzard a annoncé que l'API tant attendue serait disponible pour le premier trimestre 2017. L'objectif étant d'une part de tester l'IA contre des humains mais également ouvrir de nombreuses possibilités d'entrainement ou d'expérience de jeu spécifique grâce à cette nouvelle technologie.


Question & Réponse : 

  • Il fallait définir un mètre étalon pour savoir si l'IA joue bien (pour les jeux Atari), aussi l'équipe de DeepMind a utilisé un employé qui était plutôt doué aux jeux-vidéo sans être un vrai pro-gamer. Au final, dans la plupart des cas, l'IA était plus fort que l'humain.
  • Pourquoi passer du Go à StarCraft ? La complexité du jeu est un énorme challenge pour DeepMind. L'autre raison est que c'est sûrement le seul jeu de stratégie qui est stable et joué par de nombreuses personnes ainsi il sera aussi plus facile de le faire évoluer mais aussi de tester son niveau.
  • La plus grosse difficulté jusqu'à présent est de faire comprendre l'interface de jeu à DeepMind : savoir où cliquer, les différents types de commandes, etc. Cela peut paraître relativement simple à un être humain mais c’est en réalité beaucoup plus complexe à comprendre pour une machine.
  • Un humain qui souhaite apprendre à jouer à StarCraft va très certainement regarder des vidéos de tutoriels ou des replays pour essayer d'apprendre. Le problème avec les IA, c'est que pour découvrir un jeu, elles commencent par cliquer de manière aléatoire sur l'écran et essaye de comprendre ce qui est bien ou pas en fonction des récompenses qu'elles en tirent. Pour contourner ce problème l'IA étudie plutôt des "morceaux de partie" déjà avancée dans des situations précises et compare son résultat avec ce qu'aurait fait un humain.
  • Une question importante s'est posée rapidement : sachant qu'une grande partie du jeu se base sur le multi-tasking, comment rendre le jeu équitable face à un humain puisque virtuellement, l'IA peut effectuer beaucoup plus d'APM qu'un vrai joueurs ? Pour le moment la technique consiste à limiter les APM de l'IA mais il faut garder à l'esprit que l'IA doit utiliser l'interface du jeu en lui-même pour effectuer les actions, cela limitant grandement la rapidité des actions. Cependant, les limitations sont en général levées pendant l'apprentissage du jeu mais seront forcément respectées pour garder la partie équitable contre d’autre IA ou contre des humains.
  • L'objectif des développeurs de DeepMind est surtout de pouvoir comparer les progrès de l'IA par rapport à d'autres IA ou bien comment l'IA se sort de situation difficile par rapport à comment un vrai joueur s'en serait sorti. L’objectif final est aussi d’avoir une IA intelligente qui se sert de son expérience dans StarCraft pour résoudre des problèmes du monde réel… Qui a dit comme un vrai humain ?
Galerie d'images BlizzCon 2016 - DeepMind et StarCraft (26 images)

Icone JudgeHype
Vous aimez notre travail ? Aidez-nous à rester indépendant en vous abonnant à JudgeHype Premium ou en désactivant votre bloqueur de publicités. Merci ;)
8 commentaires - [Poster un commentaire]


Chargement des commentaires...

Poster un commentaire

Vous devez vous identifier pour poster un commentaire.
ÉVÉNEMENTS

Évacuation minière

DISCORD JUDGEHYPE
Discord
BOUTIQUE
1 2 3
StarCraft II: Récits de Guerre - Projet Rochenoire
Retrouvez dans ce roman les événements du Projet Rochenoire, qu'on découvrit peu de temps avant la sortie de Heart of the Swarm. Très sympa.
Écrans PC Gamer
Besoin d'un écran pour jouer ? Foncez par ici ;)
Diablo
Le 1er Diablo pour 8,89 € seulement, compatible avec Windows 10 et les hautes résolutions !
APPLICATIONS MOBILES
Application Android  Application iOS
SOUTENIR JUDGEHYPE
Logo Voici les moyens de soutenir JudgeHype :  Abonnez-vous au réseau JudgeHype  Désactivez adblock pour le réseau  Achetez via ce lien sur Materiel.net  Achetez via ce lien sur Amazon.fr  Achetez via ce lien sur Gamesplanet Nous vous remercions pour votre soutien sans qui le réseau JudgeHype ne pourrait continuer son travail !
GÉNÉRAL : PatchsArchives
PRÉSENTATION : StarCraft & Brood WarRaces jouablesConfiguration requiseJeu de plateauLigues & classementsChronologie des romans et BDHistoireOrigine des TerransOrigine des ZergsOrigine des ProtossPersonnages-clésPlanètesBibliothèque
BASES DE DONNÉES : Unités TerranBâtiments TerranUnités ZergBâtiments ZergsUnités ProtossBâtiments Protoss
GUIDES : Solution de Wings of LibertyCheat CodesPortée des unitésCooldown des attaquesVitesse des unitésVision des unitésAstuces de Blizzard
DOSSIERS : BlizzCon 2016BlizzCon 2015BlizzCon 2014BlizzCon 2013BlizzCon 2011BlizzCon 2010BlizzCon 2009BlizzCon 2008WWI Paris 2008BlizzCon 2007Press Tour 2011Press Tour 2010Press Tour juillet 2009Press Tour juin 2009Previews 2007-2009Q&A Blizzard
IMAGES : AléatoiresScreenshotsIllustrationsConcept arts StarCraftConcept arts StarCraft IIÉcrans de chargement soloÉcrans de chargement multiGraffs des racesPortraitsFan artsEaster EggsFonds d'écranCinematic screenshot of the weekI Love StarCraftDivers
DIVERS : Fan fictionTéléchargementsObjets de collection StarCraftBeta test WoLBeta test HotSBeta test LotV
Nombre de visites sur l'accueil depuis la création du site StarCraft II : 17.854.583 visites.
© Copyright 1998-2019 JudgeHype SPRL. Tous droits réservés. Reproduction totale ou partielle interdite sans l'autorisation de l'auteur.