\title{\textbf{Étude Pratique : Développement d'une Intelligence Artificielle
à base de l'algorithme Monte Carlo Tree Search}}
\author{Francesco \textsc{BARIATTI}\and Adrien \textsc{GASTÉ}\and Mikael \textsc{LE}\and Romain \textsc{LEBOUC}
\author{Francesco BARIATTI \and Adrien GASTÉ \and Mikael LE \and Romain LEBOUC
\\
Encadrant : Pascal \textsc{GARCIA}}
Encadrant : Pascal GARCIA}
\date{2015 - 2016}
\date{Année scolaire 2015/16}
\begin{document}
\maketitle
\pagenumbering{gobble}
\newpage
\tableofcontents
...
...
@@ -56,7 +55,7 @@ Cette étude pratique se présente sous la forme d'une Intelligence Artificielle
\subsection{Le Jeu du Pingouin}
Le Jeu du Pingouin est un jeu de plateau confrontant 2 à 4 joueurs sur un plateau de 60 cases hexagonales, sur lesquelles se trouvent de 1 à 3 poissons, comme présenté dans la figure \ref{Plateau}.
Le Jeu du Pingouin est un jeu de plateau confrontant 2 à 4 joueurs sur un plateau de 60 cases hexagonales, sur lesquelles se trouvent de 1 à 3 poissons, comme présenté dans la figure \ref{Plateau}.
Chaque joueur place 4 pingouins sur le plateau en début de partie. À chaque tour, il en déplace un dans l'une des 6 directions possibles, en récupérant la case sur laquelle le pingouin se trouvait. Il gagne alors autant de points qu'il y a de poissons dessus.
...
...
@@ -74,19 +73,17 @@ Le jeu se termine lorsque aucun des pingouins ne peut se déplacer, et le joueur
\subsection{L'algorithme Monte-Carlo Tree Search (MCTS)}
Le Monte-Carlo Tree Search est un algorithme de recherche de décision, utilisé dans les jeux tel que le Go ou encore Ms. Pacman.
Son principe repose sur la simulation de plusieurs millions de parties qui permettent de construire progressivement un arbre et d'ensuite choisir le meilleur chemin.
Le \textit{Monte-Carlo Tree Search} est un algorithme de recherche de décision, utilisé dans les jeux tel que le Go ou encore Ms. Pacman.
Son principe repose sur la simulation de plusieurs millions de parties qui permettent de construire progressivement un arbre et d'ensuite choisir le meilleur chemin pour le tour courant du joueur.
La construction de cet arbre est composée de 4 étapes :
Les implémentations peuvent avoir des différences (comme le score donné à une partie gagnante ou perdante, ou les valeurs stockées dans les nœuds), mais le principe de base est toujours le même est il est composé de 4 étapes qui sont répétées pour construire l'arbre du jeu:
\begin{itemize}
\item la sélection : En considérant un arbre partiellement construit suite à plusieurs simulations, un chemin est alors choisi par un calcul se servant des valuations aux noeuds, permettant ainsi d'explorer des choix moins bons, jusqu'au dernier noeud qui est une feuille;
ce principe repose sur le tirage aléatoire pondéré.
\item l'expansion : À partir du noeud considéré, il développe ses enfants puis on en choisit un au hasard.
\item la simulation : Il simule alors des prises de décision pour chacun des joueurs aléatoirement depuis cet enfant (la feuille courante) jusqu'à la fin du jeu. Il observe ensuite quel joueur a gagné
la simulation.
\item la rétropropagation : À chaque noeud est associé un score de 2 nombres : le premier est le nombre de parties gagnées par l'IA, le 2ème est le nombre total de parties jouées sur la branche courante.
Après l'étape précédente, on met à jour le score de chaque noeud de l'arbre en remontant du noeud courant à la racine.
\end{itemize}
\item\textbf{Sélection} : En considérant un arbre partiellement construit suite à plusieurs simulations, un chemin est alors choisi par un calcul se servant des valuations aux nœuds, permettant ainsi d'explorer les meilleurs chemins en priorité, jusqu'à une feuille. Ce principe repose sur le tirage aléatoire pondéré.
\item\textbf{Expansion} : À partir du nœud considéré, ses enfants sont alors développés puis un est choisi au hasard pour la suite.
\item\textbf{Simulation} : Une simulation des prises de décision pour chacun des joueurs est alors faite aléatoirement depuis cet enfant jusqu'à la fin du jeu. Le résultat de cette simulation est alors observé.
\item\textbf{Rétropropagation} : À chaque nœud est associé un score de 2 nombres : le premier est le nombre de parties gagnées par l'IA, le deuxième est le nombre total de parties jouées sur la branche courante.
Le score des nœuds se trouvant sur le chemin entre la racine et le fils choisi par l'expansion est alors mis à jour pour prendre en compte le résultat de la simulation.
@@ -94,47 +91,44 @@ La construction de cet arbre est composée de 4 étapes :
\label{mcts}
\end{figure}
L'un des avantages indéniables de l'algorithme est qu'il peut être interrompu à tout moment, le choix de la branche optimale sera fait à partir de l'arbre déjà construit. De plus, C'est un
algorithme sans heuristique, c'est à dire qu'il n'a pas besoin de connaître au préalable les règles du jeu pour être bon.
L'un des avantages indéniables de l'algorithme est qu'il peut être interrompu à tout moment: le choix de la branche optimale sera fait à partir de l'arbre construit jusqu'à ce moment là. De plus, c'est un algorithme sans heuristique, c'est à dire qu'il n'a pas besoin de connaître au préalable les règles du jeu pour bien jouer.
\newpage
\section{Étude Pratique}
\subsection{Tâche à réaliser}
La tâche à réaliser est de programmer le jeu du Pingouin en Langage C++ et y implémenter le MCTS pour l'IA. Le mode Joueur contre IA est imposé. Il faut
également créer une interface utilisateur pour rendre le programme accessible à tous.
\subsection{Implémentation du MCTS}
L'algorithme à implémenter dans le programme est le MCTS. Il a déjà été programmé par notre encadrant Pascal GARCIA en C++. C'est donc à nous de le faire intéragir avec le programme du jeu afin que
l'IA choisisse la meilleure solution en fonction du coup fait par le joueur humain.
\section{Tâche à réaliser}
La tâche à réaliser est de programmer le jeu du Pingouin en Langage C++ et y implémenter le MCTS comme IA. Le mode Joueur contre IA est imposé. Il faut également créer une interface utilisateur pour rendre le programme accessible à tous.
\subsection{Implémentation du jeu}
L'algorithme à implémenter dans le programme est le MCTS. L'algorithme a déjà été programmé par notre encadrant Pascal GARCIA en C++, mais il nécessite d'une représentation efficace du jeu pour pouvoir faire ses simulations. \\
C'est donc à nous de faire cette représentation de sorte à qu'elle respecte l'interface définie par Pascal GARCIA et qu'elle comporte des calculs rapides pour passer d'une étape à l'autre du jeu.
\subsection{Création d'une interface graphique}
Pour permettre de rendre l'application facile à utiliser, une interface graphique doit être programmée; les intéractions Homme-Machine se font à la souris. Il n'y a pas de restriction sur la méthode utilisée.
Pour permettre de rendre l'application facile à utiliser, une interface graphique doit être programmée; les interactions Homme-Machine se font à la souris. Il n'y a pas de restriction sur la méthode utilisée. \\
Il va de soi que l'interface graphique doit pouvoir lancer le jeu et communiquer les coups du joueur à l'IA et inversement.
\newpage
\section{Réalisation}
A chaque séance, nous nous sommes généralement divisés en 2 équipes de 2 afin d'avancer plus rapidement le projet sur 2 points différents. Lorsque nous avions l'occasion, nous rencontrions
notre encadrant afin qu'il donne son avis ainsi que des conseils pour des problèmes que nous n'arrivions pas à résoudre.
A chaque séance, nous nous sommes généralement divisés en 2 équipes de 2 afin d'avancer plus rapidement le projet sur deux points différents.
Lorsque nous avions l'occasion, nous rencontrions notre encadrant afin qu'il donne son avis ainsi que des conseils pour des problèmes que nous n'arrivions pas à résoudre.
Le projet a été effectué à l'aide de Git pour faciliter l'accès aux différentes versions du code.
Le projet a été effectué à l'aide de \href{https://fr.wikipedia.org/wiki/Git}{\emph{Git}} pour faciliter l'accès aux différentes versions du code.
\subsection{Prise en main du MCTS avec le Tic-Tac-Toe}
Afin de comprendre et tester le fonctionnement du MCTS, nous avons décidé, pendant le 1er semestre, de l'implémenter sur un jeu simple, à savoir le Tic-Tac-Toe.
Cela nous a également permis d'apprendre à programmer en C++, le langage utilisé pour coder l'algorithme.
Afin de comprendre et tester le fonctionnement du MCTS, nous avons décidé, pendant le 1er semestre, de l'implémenter sur un jeu simple: le Tic-Tac-Toe.
Cela nous a également permis d'apprendre à programmer en C++, langage qu'on ne connaissait pas, et dans lequel le MCTS est codé.
Pascal GARCIA nous a conseillé de représenter la grille sous forme de \textit{bitboards} de 16 bits pour optimiser les calculs, l'un représentant les croix et l'autre les cercles.
Les états gagnants étaient sous forme d'entiers et lorsque l'un des \textit{bitboards} satisfaisait un de ces états, la partie se terminait.
Pascal GARCIA nous a conseillé de représenter la grille sous forme de \textit{bitboards\footnote{Une bitboard est juste un nombre entier classique, dans lequel chaque bit est interprété de façon particulière. Souvent chaque bit représente la présence, ou l'absence, d'un élément dans une case du plateau}} de 16 bits pour optimiser les calculs, l'un représentant les croix et l'autre les cercles.
Les états gagnants étaient des \textit{bitboards}, définis dans le code comme des entiers. Lorsque l'un des \textit{bitboards} satisfaisait(selon certaines opérations bit à bit) un de ces états, la partie se terminait.
\subsection{Création de l'IA pour le Jeu du Pingouin}
La deuxième étape du projet consiste à coder le Jeu du Pingouin de telle sorte que l'IA respecte les règles et comprenne la condition de victoire.
\subsection{Le Jeu du Pingouin}
La deuxième étape du projet consiste à coder le Jeu du Pingouin de telle sorte que l'IA respecte les règles et comprenne la condition de victoire et que les calculs pour effectuer chaque coup soient rapides, pour que le MCTS puisse simuler énormement de parties dans le temps imparti.
\subsubsection{Choix de représentation}
Chacun des pingouins a été modélisé par un \textit{bitboard} de 32 bits.
Le plateau a été représenté à l'aide de 3 \textit{bitboards} de 64 bits (chacun représentant la présence de 1,2 ou 3 poissons sur les cases) que nous avons ensuite complété avec la position des pingouins.
Le plateau a été représenté à l'aide de 3 \textit{bitboards} de 64 bits (chacun représentant la présence de 1,2 ou 3 poissons sur les cases): la présence d'obstacles sur une case est calculée grâce à des opérations bit à bit(\textit{and, or, not})
Il a fallu confronter le problème du déplacement des pions qui n'existait pas dans le Tic-Tac-Toe : en effet, il n'a pas été évident de relier déplacement sur le plateau et déplacement et sa représentation
en \textit{bitboard}. La solution retenue a été de numéroter les 60 cases du plateau et de faire correspondre le déplacement de chacune des 6 directions par un calcul arithmétique.
Il a fallu confronter le problème du déplacement des pions qui n'existait pas dans le Tic-Tac-Toe : en effet, il n'a pas été évident de relier le déplacement sur le plateau(en six directions possibles) avec la représentation du plateau en \textit{bitboard}. La solution retenue a été de numéroter les 60 cases du plateau et de faire correspondre le déplacement de chacune des 6 directions par un calcul arithmétique.
De plus, la modélisation optimale des pingouins a été trouvée difficilement car il a fallu associer plusieurs types d'informations différentes à chacun des pingouins (par exemple, le nombre de déplacements possibles dans une direction).
...
...
@@ -144,23 +138,27 @@ De plus, la modélisation optimale des pingouins a été trouvée difficilement
\label{pingouin}
\end{figure}
Une solution envisagée a été de mettre chaque type d'informations dans un \textit{bitboard} en particulier, mais cela s'est révélé trop difficile à gérer. Nous avons alors opté de stocker toutes les informations concernant un pingouin dans un \textit{bitboard} personnel.
Une solution envisagée a été de mettre chaque type d'informations dans un \textit{bitboard} en particulier, mais cela s'est révélé trop difficile à gérer. Nous avons alors opté pour stocker toutes les informations concernant un pingouin dans un \textit{bitboard} personnel.
\subsubsection{Avantage de la représentation en bitboards}
L'enjeu principal pour l’implémentation du jeu était la rapidité: plus un coup était rapide plus de parties le MCTS pourrait simuler pendant son tour. c'était donc nécessaire que pour avoir le contenu d'une case, ou la position d'un pingouin le calcul soit rapide. Il était donc hors de question de stocker les valeurs dans un tableau dans la mémoire, les \textit{bitboards} permettent d'utiliser la puissance des calculs bit à bit(exécutables en un cycle de processeur).
La recherche d'information se fait avec des masques appliqués sur les variables: par exemple l'entier 63 (les 6 bits de poids faible à 1) appliqué sur un pingouin permet d'obtenir sa position.
Le \textit{bitboard} des obstacles (un 1 dans les cases où il y a soit de l'eau, soit un pingouin) est calculé dynamiquement à chaque tour en combinant les trois \textit{bitboards} des poissons et les positions des pingouins, ce qui permet d'avoir une valeur en moins à stocker et mettre à jour.
\subsection{Intégration de l'interface graphique pour le jeu}
\subsection{L'interface graphique}
TODO: gui
\newpage
\section{Conclusion}
Il y a eu quelques difficultés rencontrées au début du projet. En effet, le langage utilisé par Pascal GARCIA pour coder l'IA, à savoir le C++, nous était inconnu, et la complexité de transcrire les règles du jeu de plateau de tel sorte que le programme puisse les comprendre. Nous avons alors consacré notre 1er semestre à implémenter ce programme dans un jeu plus simple, le Tic-Tac-Toe, afin de se familiariser avec ces concepts. Cette décision nous a permis d'avoir un développement beaucoup plus rapide pour l'IA du jeu du pingouin, ce qui nous a laissé le temps nécessaire pour développer une interface graphique conventionnelle.\newline
Il y a eu quelques difficultés rencontrées au début du projet: me langage utilisé par Pascal GARCIA pour coder l'IA, à savoir le C++, nous était inconnu, et la complexité de transcrire les règles d'un jeu de plateau de tel sorte que le programme puisse les comprendre était importante.
Nous avons alors consacré notre 1er semestre à implémenter ce programme dans un jeu plus simple, le Tic-Tac-Toe, afin de se familiariser avec ces concepts. Cette décision nous a permis d'avoir un développement beaucoup plus rapide pour l'IA du jeu du pingouin, ce qui nous a laissé le temps nécessaire pour développer une interface graphique conventionnelle.
Le produit obtenu satisfait entièrement le cahier des charges : le mode Joueur vs IA a été implémentée avec succès, ce dernier possédant le niveau d'un joueur expérimenté. Il serait intéressant de rajouter des fonctionnalités supplémentaires, tel que choisir le niveau de difficulté, voire même utiliser notre expérience acquise sur un autre jeu.\newline
Le produit obtenu satisfait entièrement le cahier des charges : le mode Joueur vs IA a été implémentée avec succès, ce dernier possédant le niveau d'un joueur expérimenté. Il serait intéressant de rajouter des fonctionnalités supplémentaires, tel que choisir le niveau de difficulté, voire même utiliser notre expérience acquise sur un autre jeu.
Nous remercions Pascal GARCIA, notre encadrant, pour sa disponibilité et ses conseils.
