Objectifs
À la fin de la formation MCSA Data Engineering with Azure , vous serez capable de valider les objectifs d’apprentissages suivants :
➤Explorer les options de calcul et de stockage pour les charges de travail
d'ingénierie des données dans Azure.
➤Concevoir et mettre en œuvre la couche de service.
➤Comprendre les considérations relatives à l'ingénierie des données.
➤Exécuter des requêtes interactives à l'aide de pools SQL sans serveur.
➤Explorer, transformer et charger des données dans l'entrepôt de données à l'aide d'Apache Spark.
➤Effectuer l'exploration et la transformation des données dans Azure Databricks.
➤Ingérer et charger des données dans l'entrepôt de données.
➤Transformer les données avec Azure Data Factory ou Azure Synapse Pipelines.
➤Intégrer les données des ordinateurs portables avec Azure Data
Factory ou Azure Synapse Pipelines.
Prérequis
Pour suivre cette formation il est préférable d'avoir une connaissance du cloud computing et des concepts de données de base et une expérience professionnelle des solutions de données..
Programme
1. Explorer les options de calcul et de stockage pour les charges de travail d'ingénierie des données :
➤Introduction à Azure Synapse Analytics .
➤Décrire Azure Databricks.
➤Introduction au stockage Azure Data Lake .
➤Décrire l'architecture Delta Lake.
➤Travailler avec des flux de données à l'aide d'Azure Stream Analytics.
2. Concevoir et mettre en oeuvre la couche de service :
➤Concevoir un schéma multidimensionnel pour optimiser les charges de travail analytiques.
➤Transformation sans code à grande échelle avec Azure Data Factory .
➤Remplir les dimensions à évolution lente dans les pipelines Azure Synapse Analytics.
3. Considérations d'ingénierie des données pour les fichiers source :
➤Concevoir un entrepôt de données moderne à l'aide d'Azure Synapse Analytics.
➤Sécuriser un entrepôt de données dans Azure Synapse Analytics.
4. Exécuter des requêtes interactives à l'aide de pools SQL sans serveur Azure Synapse Analytics :
➤Découvrir les fonctionnalités des pools SQL sans serveur Azure Synapse.
➤Interroger des données dans le lac à l'aide de pools SQL sans serveur Azure Synapse.
➤Créer des objets de métadonnées dans des pools SQL sans serveur Azure Synapse.
➤Sécuriser les données et gérer les utilisateurs dans les pools SQL sans serveur Azure Synapse.
5. Explorer, transformer et charger des données dans l'entrepôt de données à l'aide d'Apache Spark :
➤Comprendre l'ingénierie du Big Data avec Apache Spark dans Azure Synapse Analytics.
➤Ingérer des données avec des blocs-notes Apache Spark dans Azure Synapse Analytics.
➤Transformer les données avec DataFrames dans Apache Spark Pools dans Azure Synapse Analytics.
➤Intégrer les pools SQL et Apache Spark dans Azure Synapse Analytics.
6. Exploration et transformation des données dans Azure Databrick :
➤Décrire Azure Databricks.
➤Lire et écrire des données dans Azure Databricks .
➤Utiliser des DataFrames dans Azure Databricks.
➤Utiliser les méthodes avancées DataFrames dans Azure Databricks.
7. Ingérer et charger des données dans l'entrepôt de données :
➤Utiliser les meilleures pratiques de chargement de données dans Azure Synapse Analytics.
➤Ingestion à l'échelle du pétaoctet avec Azure Data Factory.
8. Transformer les données avec Azure Data Factory ou Azure Synapse Pipelines :
➤Intégration de données avec Azure Data Factory ou Azure Synapse Pipelines.
➤Transformation sans code à grande échelle avec Azure Data Factory ou Azure Synapse Pipelines.
9. Orchestrer le mouvement et la transformation des données dans Azure Synapse Pipelines :
➤Orchestrer le mouvement et la transformation des données dans Azure Data Factory.
10. Optimiser les performances des requêtes avec des pools SQL dédiés dans Azure Synapse :
➤Optimiser les performances des requêtes d'entrepôt de données dans Azure Synapse Analytics.
➤Comprendre les fonctionnalités pour les développeurs de l'entrepôt de données d'Azure Synapse Analytics.
11. Analyser et optimiser le stockage de l'entrepôt de données :
➤Analyser et optimiser le stockage de l'entrepôt de données dans Azure Synapse Analytics.
12. Prise en charge du traitement analytique transactionnel hybride (HTAP) avec Azure Synapse Link :
➤Concevoir un traitement transactionnel et analytique hybride à l'aide d'Azure Synapse Analytics.
➤Configurer Azure Synapse Link avec Azure Cosmos DB.
➤Interroger Azure Cosmos DB avec des pools Apache Spark.
➤Interroger Azure Cosmos DB avec des pools SQL sans serveur.
13. Sécurité de bout en bout avec Azure Synapse Analytics :
➤Sécuriser un entrepôt de données dans Azure Synapse Analytics.
➤Configurer et gérer les secrets dans Azure Key Vault.
➤Mettre en oeuvre des contrôles de conformité pour les données sensibles.
14. Traitement de flux en temps réel avec Stream Analytics :
➤Activez une messagerie fiable pour les applications Big Data à l'aide d'Azure Event Hubs.
➤Travailler avec des flux de données à l'aide d'Azure Stream Analytics .
➤Ingérer des flux de données avec Azure Stream Analytics.
15. Créer une solution de traitement de flux avec Event Hubs et Azure Databricks :
16. Créer des rapports à l'aide de l'intégration de Power BI avec Azure Synapse Analytics :
17. Effectuer des processus d'apprentissage automatique intégrés dans Azure Synapse Analytics :
Utiliser le processus d'apprentissage automatique intégré dans Azure Synapse Analytics