L’objectif de ce tutoriel est de déployer au moyen de conteneurs Docker plusieurs instances de notre service Movie et de configurer et déployer Nginx qui va nous permettre de répartir les requêtes entre les différentes instances de Movie. Nous allons ensuite utiliser un script permettant de faire un grand nombre de requêtes parallèles pour montrer le gain de performance grâce au load balancing. L’ensemble des fichiers évoqués sont téléchargeables dans Moodle.

Ces concepts seront étudiés en détail en deuxième année de la formation. Il faut voir un conteneur comme un petit système d’opération qui tourne au dessus de votre OS (Windows, MacOS ou Linux), comme le principe d’une machine virtuelle. La différence est qu’un conteneur utilise toute la partie kernel de votre OS et n’émule qu’une partie utilisateur d’un OS, il est donc plus léger qu’une machine virtuelle.

Docker est l’une technologie de conteneurs parmi les plus répandues actuellement et est très utilisé dans l’industrie. Les conteneurs Docker profitent également de tout un ecosystème d’outils très intéressants et notamment Docker compose qui permet de déployer un ensemble de conteneurs Docker, de les faire communiquer facilement les uns avec les autres etc.

En passant par des conteneurs pour ce tutoriel vous avez l’avantage de n’avoir qu’une seule chose à installer sur votre machine, et qui sera utile pour les années suivantes : Docker et Docker compose.

Nous allons ici construire un conteneur de base pour notre service Movie.

Un conteneur Docker fonctionne par successions de couches (layers) par dessus une image de base. Une image peut être vue comme un petit OS. Pour le service Movie nous allons utiliser comme image de base l’image Linux contenant Python 3.8 : python:3.8-alpine qui est une image officielle disponible sur DockerHub.

Pour construire un conteneur il faut créer un fichier Dockerfile dans le répertoire contenant les éléments pour construire le conteneur, ici donc dans le répertoire contenant le service Movie.

Ici nous allons simplement mettre les deux lignes suivantes dans le fichier`Dockerfile` :

La première ligne permet d’indiquer que notre conteneur est construit à partir de cette image de base. La deuxième ligne permet d’exécuter la commande python --version pour vérifier la version de Python présente sur le conteneur.

Ecrivons maintenant un fichier docker-compose.yaml que nous pouvons mettre dans le répertoire parent de Movie. contenant ce qui suit :

ici nous indiquons que nous allons déployer un service movie1 en utilisant le fichier Dockerfile présent dans le répertoire ./movie.

Exécutons le déploiement avec docker-compose up

Vous devriez observer quelque chose de ce type avec le résultat de la commande python --version qui donne Python 3.8.11 :

Maintenant que nous avons vérifié le bon fonctionnement de Docker nous allons créer le conteneur de notre service Movie.

Nous allons étoffer notre fichier Dockerfile pour construire le conteneur dont nous avons besoin pour faire fonctionner notre service movie.

Voici le nouveau contenu de notre fichier Dockerfile présent dans le répertoire movie :

La deuxième ligne indique que le répertoire de travail à considérer pour notre conteneur est le répertoire interne /app. La troisième ligne permet de créer ce répertoire dans le conteneur en copiant ce qui est présent dans notre répertoire courant .

La quatrième ligne permet d’installer les paquets nécessaires à notre service movie. La liste de ces paquet se trouve dans le fichier requirements.txt. Vous trouverez ce fichier sur Moodle.

Enfin, la dernière ligne permet de lancer notre service movie.

Créez un répertoire nginx au même niveau que le répertoire movie. Ajoutez y un fichier Dockerfile et téléchargez les fichiers de configuration de Nginx sur Moodle que vous placez aussi dans ce répertoire nginx-default-container.conf et nginx.conf.

Nous n’allons pas rentrer dans le détail de la configuration de nginx ici mais vous pouvez jeter un oeil au fichier nginx.conf dans lequel sont précisées les adresses des services pour lesquels nous allons faire un load balancing. Vous comprendrez ces adresses par la suite. Comprenez pour le moment que nous aurons 4 instances du service movie. Notez aussi que notre service nginx écoute le port 8000.

Voici le contenu du fichier Dockerfile

Notez que pour construire le conteneur nous utilisons l’image de base nginx disponible sur Docker Hub ce qui nous permet de ne pas nous soucier de l’installation de nginx nous même : https://hub.docker.com/_/nginx/

Nous créons ici encore le répertoire de travail de notre conteneur /app dans lequel est copié le fichier nginx.conf. Le fichier nginx-default-container.conf est quand à lui copié à la place du fichier de configuration de base dans /etc/nginx sur le conteneur.

Voici maintenant le contenu du fichier docker-compose.yaml mis à jour :

On voit ici les prémices de la puissance de Docker compose. Les différentes instances de notre service movie sont nommées movie1 movie2 movie3 et movie4. Toutes ces instances fonctionnent en interne sur le port 5001 et nous précisons donc une association de ports pour interroger nos conteneurs sans conflits 5001 5002 5003 et 5004. Notre service nginx quand à lui écoute le port 8000 qui est conservé aussi pour le conteneur.

Une chose très importante est que Docker compose gère une sorte de DNS qui permet aux conteneurs de se connaître les uns les autres. Ainsi le service nginx connait les services movie1`etc. C’est pour cette raison que nous avons ces adresses dans le fichier `nginx.conf :

À noter également que depuis notre machine tous ces services sont accessibles par localhost:port

Reconstruisons notre déploiement avec la commande

Puis lançons le déploiement

Vous deviez voir tous les services se lancer de cette façon :

Le téléchargement des images de base depuis Docker Hub peut prendre un peu de temps c’est normal, mais une fois téléchargé vous n’aurez plus à le refaire.

Vous pouvez tester le fonctionnement de vos services movie avec les url suivantes dans votre navigateur :

Nous allons maintenant vérifier que l’utilisation d’un load balancer comme Nginx permet de monter en charge pour les requêtes client. Je vous propose d’utiliser le script de test python disponible sur Moodle qui permet de créer des process qui vont lancer des requêtes sur un seul service movie ou bien sur nginx et de voir la différence de performance.

Regardons un peu les différentes parties de ce script :

requests va nous permettre de faire les requêtes comme on l’a fait dans les TP pour les appels entre services. time va nous servir à mesurer le temps de réponse à une requête. multiprocessing va nous permettre de créer des processus indépendants pour envoyer un grand nombre de requêtes en même temps au service. Et sys va simplement nous permettre de gérer un paramètre d’entrée qui est le mode d’exécution :

Ci-dessus on voit que l’on peut hanger le nombre de requêtes à effectuer en parallèle avec la constante NB. Par défaut le mode d’exécution est standard. La fonction main de notre programme récupère l’argument précisant le mode d’exécution puis démarre les NB processus avant ensuite d’attendre leur fin d’exécution.

Voici maintenant la classe de nos processus :

Cette classe hérite du type multiprocessing.Process importé et surcharge son constructeur init et la fonction d’exécution run.

La fonction run mesure un temps de départ et un temps d’arrivée start et end. Entre les deux la requête est envoyée en fonction de la VERSION soit au service localhost:5001 qui correspond donc au conteneur movie1, soit au service localhost:8000 qui correspond donc au conteneur nginx. J’ai choisi ici d’utiliser le point d’entrée moviesbytitle de mon service.

En exécutant en mode standard voici ce que j’observe. Le temps de réponse aux requêtes augmente car movie1 est surchargé et ne peut tenir la charge.

Voici ce que j’observe pour la même exécution en mode load. Le temps de réponse aux requêtes est globalement plus court et n’augmente pas.

On peut observer sur la sortie des services que la charge est bien répartie entre les services par nginx :