février 6, 2023Lire l'article
Un pipeline de déploiement est un outil qui permet d’automatiser la migration de code et d’objets d’un environnement à un autre, par exemple de la phase de développement d’un produit à la phase de test, et de la phase de test à la phase de production. Classiquement, on trouve ces trois étapes dans un pipeline de déploiement : l’étape de développement soit celle du prototypage, l’étape de test soit celle de validation par l’équipe métier, et l’étape de production soit celle de l’usage final par l’entreprise.
Un pipeline de déploiement a pour objectif de réduire les erreurs manuelles lors du changement d’étape et de faciliter la maintenance. Les pipelines de déploiement permettent aussi de revenir à une étape passée en cas d’erreur (rollback), et peuvent intégrer des systèmes de versioning comme GitHub. Ils permettent aussi de faire de la gestion de dépendances entre les objets. Les pipelines de déploiement font partie des pratiques assurant une intégration et un déploiement continus (CI/CD).
Avec un pipeline de déploiement, on peut vouloir gérer des objets comme du code source, des modèles de données, des rapports et visualisations, des paramètres de configuration ou des paramètres de sécurité.
Dans Microsoft Power BI, les pipelines de déploiement gèrent la migration des objets Power BI, comme les rapports, les dashboards, les modèles sémantiques, les dataflows (flux-de-donnnées) Gen1… Pour voir toutes nos formations sur Power BI, cliquez ici.
En revanche, les pipelines de déploiement dans Power BI ne gèrent pas la migration de notebooks, pipelines de données, data stores, etc. d’un espace de travail à un autre.
Les pipelines de déploiement dans Fabric sont une évolution des pipelines de déploiement dans Power BI. Pour voir toutes nos formations sur Fabric, cliquez ici.
Ils permettent de gérer tous les objets Fabric : les data stores, les bases de données KQL, les notebooks, les pipelines de données, les dataflows Gen2, les modèles sémantiques, les rapports Power BI…
On va maintenant créer un pipeline de déploiement dans Microsoft Fabric, et déployer des objets à travers différentes étapes de développement.
Tout d’abord, on ouvre Fabric, on se connecte à sa session, et on clique sur l’icône ‘Espaces de travail’, sur le panneau de gauche :
Le bouton ‘Pipelines de déploiement’ apparaît en bas de la liste de nos espaces de travail. On clique dessus :
On clique ensuite sur le bouton ‘Nouveau pipeline’ :
Une boîte de dialogue s’ouvre. On choisit le nom de notre pipeline. Ici, on choisira de l’appeler ‘pipeline_deploiement’. On clique ensuite sur ‘Suivant’ :
On obtient ensuite une fenêtre qui présente la forme de notre pipeline en cours de création. On clique sur ‘Créer, puis continuer’ :
On va maintenant créer trois espaces de travail différents, un pour chaque étape du pipeline. On reclique sur le bouton ‘Espaces de travail’ :
Puis sur le bouton ‘Nouvel espace de travail’, sous la liste des espaces de travail existants :
On crée un nouvel espace de travail, qu’on appellera ‘developpement’. On laisse les autres champs vides, et on clique sur ‘Appliquer’ :
On refait les mêmes opérations pour créer un espace de travail nommé ‘test_pipeline’ :
Puis pour créer un espace de travail nommé ‘production’ :
Maintenant, on va revenir à notre pipeline. Pour ce faire, on reclique sur le bouton ‘Espaces de travail’ :
Puis sur le bouton ‘Pipelines de déploiement’ :
On clique ensuite sur le pipeline créé précédemment :
La fenêtre suivante s’ouvre :
On va attribuer l’espace de travail ‘developpement’ à l’étape ‘Development’ du pipeline. Pour ce faire, on utilise le menu déroulant ‘Attribuer un espace de travail’ et on sélectionne notre espace de travail ‘developpement’. On clique ensuite sur la coche verte de validation :
On attribue de même l’espace de travail ‘test_pipeline’ à l’étape ‘Test’, et l’espace de travail ‘production’ à l’étape ‘Production’. On obtient un pipeline de déploiement semblable à celui-ci :
Maintenant, on va ajouter des objets dans notre espace de travail ‘development’. On reclique sur le bouton ‘Espaces de travail’ :
On sélectionne notre espace de travail ‘development’ :
On obtient un espace de travail vide comme celui-ci :
On clique sur le bouton ‘Nouvel élément’, en haut à gauche, puis on cherche l’élément ‘Lakehouse’ :
On clique sur le bouton ‘Lakehouse’, on nomme notre lakehouse ‘lakehouse_test’, et on clique sur ‘Créer’ :
On obtient un lakehouse vide, comme celui-ci :
On clique sur ‘Démarrer avec des exemples de données’. Une sélection d’exemples s’ouvre. On choisit ‘TAXI DE NEW YORK’ :
Les données sont chargées automatiquement. Au bout de quelques secondes, on obtient un lakehouse semblable à celui-ci :
On va maintenant revenir à notre pipeline de déploiement. Pour ce faire, on peut recliquer sur ‘Espaces de travail’, puis ‘Pipelines de déploiement’ et sélectionner notre pipeline, ou simplement sélectionner notre pipeline depuis le bandeau à gauche de l’écran, si elle y apparaît toujours, comme montré ici :
On se retrouve sur notre pipeline. Quand on sélectionne la phase ‘Development’, on constate que le lakehouse ‘lakehouse_test’ apparaît bien. Le symbole croix entouré de flèches, sur l’étape ‘Test’, indique qu’elle n’est pas à jour par rapport à l’étape ‘Development’ :
On va maintenant déployer notre lakehouse qui se trouve dans l’étape ‘Development’, dans l’étape ‘Test’. Pour ce faire, on clique sur l’étape ‘Test’. En bas de l’écran, le lakehouse apparaît bien, mais avec une présentation différente, car il se trouve seulement dans l’étape précédente, et n’a pas encore été déployé dans cette étape :
On sélectionne ce lakehouse avec la case à gauche de la ligne, et on clique sur ‘Déployer’ :
Une boîte de dialogue s’ouvre. On clique à nouveau sur ‘Déployer’ :
Maintenant, le pipeline est mis-à-jour : la petite croix de non-synchronisation se trouve sur l’étape ‘Production’ et plus sur l’étape ‘Test’, qui est maintenant synchronisée avec l’étape ‘Development’ :
De même, on va déployer le lakehouse depuis l’étape ‘Test’, dans l’étape ‘Production’. Pour ce faire, on clique d’abord sur l’étape ‘Production’, puis on sélectionne le lakehouse et on clique sur ‘Déployer’. Dans la boîte de dialogue, on clique encore sur ‘Déployer’. On obtient finalement un pipeline semblable à celui-ci :
Maintenant, on va retourner dans l’espace de travail ‘developpement’ et on va créer d’autres objets. On commence donc par retourner sur l’espace de travail ‘developpement’, en cliquant sur ‘Espaces de travail’ puis en cherchant l’espace de travail ‘developpement’ :
Notre espace de travail ‘developpement’ s’ouvre, et on voit qu’il contient seulement un lakehouse :
On va créer un bloc-notes Apache Spark dans lequel on va effectuer quelques opérations sur les données du lakehouse. Pour ce faire, on clique sur le lakehouse, puis sur ‘Ouvrir le notebook’ et ‘Nouveau notebook’ :
Un bloc-notes vierge apparaît, comme celui-ci :
On renomme le bloc-notes ‘notebook_test’, en cliquant sur le nom du bloc-notes en haut à gauche de l’écran :
On va taper du code permettant de créer une table qui contiendra quelques statistiques sur les données des trajets en taxi. Voici le code à exécuter :
df = spark.sql("SELECT * FROM lakehouse_test.green_tripdata_2017 LIMIT 1000")
stats_df = df.describe()
display(stats_df)
stats_df.write.mode("overwrite").format("delta").saveAsTable("stats_green_tripdata")
Après exécution du code, une table supplémentaire, contenant des statistiques, a bien été créée. On la voit dans la section ‘Tables’ du lakehouse, après actualisation si besoin :
Maintenant, revenons à notre pipeline de déploiement. On peut y retourner en cliquant sur ‘Espaces de travail’, ou simplement grâce au bandeau de gauche sur l’écran, en cliquant sur ‘pipeline_deploiement’ :
Voici maintenant l’aspect de notre pipeline. On constate que l’étape ‘Test’ est à nouveau marquée par une petite croix, car elle est à nouveau désynchronisée de l’étape ‘Development’, depuis la création du notebook.
On va maintenant déployer le notebook depuis l’étape ‘Development’ dans l’étape ‘Test’. Pour ce faire, on clique sur l’étape ‘Test’ :
Puis, on sélectionne le bloc-notes et on clique sur ‘Déployer’ :
Dans la boîte de dialogue, on clique à nouveau sur ‘Déployer’. Maintenant, le bloc-notes est bien déployé dans l’étape ‘Test’, mais pas encore dans l’étape ‘Production’, on attendra la validation par l’équipe métier avant de le déployer dans l’étape ‘Production’.
Les pipelines de déploiement sont des outils no-code qui permettent l’orchestration des phases de développement, de test et de production. Elles sont particulièrement performantes dans Microsoft Fabric.
Et si vous souhaitez en apprendre davantage, n’hésitez pas à consulter nos formations sur Power BI.
