<html><head><meta name="color-scheme" content="light dark"></head><body><pre style="word-wrap: break-word; white-space: pre-wrap;">\documentclass[a4paper,11pt]{article}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%    PACKAGES
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\usepackage{graphicx}
%\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage[hidelinks]{hyperref}
%\usepackage[french]{babel}

\setlength{\voffset} {-0.54cm}
\setlength{\hoffset} {-0,04cm}
\setlength{\textwidth} {14cm}
\setlength{\textheight} {24cm}
\setlength{\oddsidemargin} {1cm}
\setlength{\evensidemargin} {1cm}
\setlength{\marginparsep} {0cm}
\setlength{\marginparwidth} {0cm}
\setlength{\topmargin} {0cm}
\setlength{\headheight} {0,45cm}
\setlength{\headsep} {0,57cm}

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 



\title{ \textbf{Étude Pratique : Développement d'une Intelligence Artificielle
à base de l'algorithme Monte Carlo Tree Search} }

\author{Francesco \textsc{BARIATTI} \and Adrien \textsc{GASTÉ} \and Mikael \textsc{LE} \and Romain \textsc{LEBOUC}
        \\
        Encadrant : Pascal \textsc{GARCIA}}

\date{2015 - 2016}


\begin{document}

\maketitle
\pagenumbering{gobble}
\newpage

\tableofcontents


\newpage
\pagenumbering{arabic}


\section{Introduction}
Les études pratiques sont des projets réalisés chaque année pas les élèves du département Informatique de l’INSA de Rennes qui s’étalent sur 10 mois.

Cette étude pratique se présente sous la forme d'une Intelligence Artificielle (IA) à créer pour un jeu de plateau, qui sera jouable via une interface graphique.
	

	
	\subsection{Le Jeu du Pingouin}
Le Jeu du Pingouin est un jeu de plateau confrontant 2 à 4 joueurs sur un plateau de 60 cases hexagonales, sur lesquelles se trouvent de 1 à 3 poissons, comme présenté dans la figure \ref{Plateau}.

Chaque joueur place 4 pingouins sur le plateau en début de partie. À chaque tour, il en déplace un dans l'une des 6 directions possibles, en récupérant la case sur laquelle le pingouin se trouvait. Il gagne alors autant de points qu'il y a de poissons dessus. 

Les pingouins ne peuvent pas passer à travers des autres pingouins (y compris ceux du même joueur) et des trous crées par les déplacements des pions. Lorsqu'un joueur ne peut pas jouer, ceux
pouvant encore jouer continuent. 

Le jeu se termine lorsque aucun des pingouins ne peut se déplacer, et le joueur avec le plus de points remporte la partie. 

\begin{figure}[!h]
	\centering
		\includegraphics[width=150px,height=150px]{./Images/Plateau_Pingouin.jpg}
	\caption{Plateau du Jeu du Pingouin}
	\label{Plateau}
\end{figure}


	\subsection{L'algorithme Monte-Carlo Tree Search (MCTS)}
Le Monte-Carlo Tree Search est un algorithme de recherche de décision, utilisé dans les jeux tel que le Go ou encore Ms. Pacman.
Son principe repose sur la simulation de plusieurs millions de parties qui permettent de construire progressivement un arbre et d'ensuite choisir le meilleur chemin.

La construction de cet arbre est composée de 4 étapes :
\begin{itemize}
	\item la sélection : En considérant un arbre partiellement construit suite à plusieurs simulations, un chemin est alors choisi par un calcul se servant des valuations aux noeuds, permettant ainsi d'explorer des choix moins bons, jusqu'au dernier noeud qui est une feuille; 
	ce principe repose sur le tirage aléatoire pondéré. 
	\item l'expansion : À partir du noeud considéré, il développe ses enfants puis on en choisit un au hasard.
	\item la simulation : Il simule alors des prises de décision pour chacun des joueurs aléatoirement depuis cet enfant (la feuille courante) jusqu'à la fin du jeu. Il observe ensuite quel joueur a gagné 
	la simulation.
	\item la rétropropagation : À chaque noeud est associé un score de 2 nombres : le premier est le nombre de parties gagnées par l'IA, le 2ème est le nombre total de parties jouées sur la branche courante. 
	Après l'étape précédente, on met à jour le score de chaque noeud de l'arbre en remontant du noeud courant à la racine.
		\end{itemize}
	 
\begin{figure}[!h]
	\includegraphics[width=\linewidth]{./Images/MCTS.png}
	\caption{Étapes du MCTS}
	\label{mcts}
\end{figure}

L'un des avantages indéniables de l'algorithme est qu'il peut être interrompu à tout moment, le choix de la branche optimale sera fait à partir de l'arbre déjà construit. De plus, C'est un
algorithme sans heuristique, c'est à dire qu'il n'a pas besoin de connaître au préalable les règles du jeu pour être bon.




\newpage
\section{Étude Pratique}
	\subsection{Tâche à réaliser}
La tâche à réaliser est de programmer le jeu du Pingouin en Langage C++ et y implémenter le MCTS pour l'IA. Le mode Joueur contre IA est imposé. Il faut
également créer une interface utilisateur pour rendre le programme accessible à tous.
	
	\subsection{Implémentation du MCTS}
L'algorithme à implémenter dans le programme est le MCTS. Il a déjà été programmé par notre encadrant Pascal GARCIA en C++. C'est donc à nous de le faire intéragir avec le programme du jeu afin que 
l'IA choisisse la meilleure solution en fonction du coup fait par le joueur humain.
	
	\subsection{Création d'une interface graphique}
Pour permettre de rendre l'application facile à utiliser, une interface graphique doit être programmée; les intéractions Homme-Machine se font à la souris. Il n'y a pas de restriction sur la méthode utilisée.

\newpage
\section{Réalisation}	
A chaque séance, nous nous sommes généralement divisés en 2 équipes de 2 afin d'avancer plus rapidement le projet sur 2 points différents. Lorsque nous avions l'occasion, nous rencontrions 
notre encadrant afin qu'il donne son avis ainsi que des conseils pour des problèmes que nous n'arrivions pas à résoudre. 

Le projet a été effectué à l'aide de Git pour faciliter l'accès aux différentes versions du code.

	\subsection{Prise en main du MCTS avec le Tic-Tac-Toe}
Afin de comprendre et tester le fonctionnement du MCTS, nous avons décidé, pendant le 1er semestre, de l'implémenter sur un jeu simple, à savoir le Tic-Tac-Toe.
Cela nous a également permis d'apprendre à programmer en C++, le langage utilisé pour coder l'algorithme.

Pascal GARCIA nous a conseillé de représenter la grille sous forme de \textit{bitboards} de 16 bits pour optimiser les calculs, l'un représentant les croix et l'autre les cercles.
Les états gagnants étaient sous forme d'entiers et lorsque l'un des \textit{bitboards} satisfaisait un de ces états, la partie se terminait.

	\subsection{Création de l'IA pour le Jeu du Pingouin}
La deuxième étape du projet consiste à coder le Jeu du Pingouin de telle sorte que l'IA respecte les règles et comprenne la condition de victoire.

Chacun des pingouins a été modélisé par un \textit{bitboard} de 32 bits.
Le plateau a été représenté à l'aide de 3 \textit{bitboards} de 64 bits (chacun représentant la présence de 1,2 ou 3 poissons sur les cases) que nous avons ensuite complété avec la position des pingouins.

Il a fallu confronter le problème du déplacement des pions qui n'existait pas dans le Tic-Tac-Toe : en effet, il n'a pas été évident de relier déplacement sur le plateau et déplacement et sa représentation 
en \textit{bitboard}. La solution retenue a été de numéroter les 60 cases du plateau et de faire correspondre le déplacement de chacune des 6 directions par un calcul arithmétique.

De plus, la modélisation optimale des pingouins a été trouvée difficilement car il a fallu associer plusieurs types d'informations différentes à chacun des pingouins (par exemple, le nombre de déplacements possibles dans une direction).

\begin{figure}[h!]
	\includegraphics[width=\linewidth]{./Images/Structure_Pingouin.png}
	\caption{Découpage du \textit{bitboard} pour un pingouin}
	\label{pingouin}
\end{figure}

Une solution envisagée a été de mettre chaque type d'informations dans un \textit{bitboard} en particulier, mais cela s'est révélé trop difficile à gérer. Nous avons alors opté de stocker toutes les informations concernant un pingouin dans un \textit{bitboard} personnel.


		
	\subsection{Intégration de l'interface graphique pour le jeu}
TODO: gui
	
\newpage
\section{Conclusion}
Il y a eu quelques difficultés rencontrées au début du projet. En effet, le langage utilisé par Pascal GARCIA pour coder l'IA, à savoir le C++, nous était inconnu, et la complexité de transcrire les règles du jeu de plateau de tel sorte que le programme puisse les comprendre. Nous avons alors consacré notre 1er semestre à implémenter ce programme dans un jeu plus simple, le Tic-Tac-Toe, afin de se familiariser avec ces concepts. Cette décision nous a permis d'avoir un développement beaucoup plus rapide pour l'IA du jeu du pingouin, ce qui nous a laissé le temps nécessaire pour développer une interface graphique conventionnelle.\newline

Le produit obtenu satisfait entièrement le cahier des charges : le mode Joueur vs IA a été implémentée avec succès, ce dernier possédant le niveau d'un joueur expérimenté. Il serait intéressant de rajouter des fonctionnalités supplémentaires, tel que choisir le niveau de difficulté, voire même utiliser notre expérience acquise sur un autre jeu.\newline
	
Nous remercions Pascal GARCIA, notre encadrant, pour sa disponibilité et ses conseils.





\end{document}
</pre></body></html>