Introduction

• Rappels sur l'API Spark.
• Concepts de Docker et son utilité dans les analyses de données.
• Les conteneurs Docker.

Le cycle analytique avec Spark

• Ingestion de données.
• Exploration.
• Préparation des données.
• Apprentissage.
• Industrialisation.

Ingestion des données.

• Le chargement de données.
• Traitements batch.
• Traitements en streaming.
• Les formats de données : images, binaires, structurés, Graph…

Exploration des données

• Statistiques descriptives.
• Identifier les cas aberrants, les données vides.
• Identifier les valeurs invalides et autres anomalies.

Préparation et feature engineering (processus de transformation de données)

• Nettoyage des données.
• Pipelines.
• Transformer les valeurs numériques, catégoriques, binaires et texte.
• Création de nouvelles features.
• Réduction de dimensions.
• Vectorisation.

Cycle de vie du ML avec MLflow

• Cycle de vie d'un projet de machine learning.
• Présentation de la plateforme open source MLflow.
• Les composants principaux de MLflow : Tracking, Models et Projects.
• Paramètres, métriques, balises et artefacts.

Machine learning

• MLlib la bibliothèque d'apprentissage automatique de Spark et les algorithmes disponibles.
• Diviser un jeu de données.
• Configurer un modèle et l’exécuter.
• Interprétation et validation de résultats d’apprentissage.
• Introduction à Spark Streaming.

Études de cas

• Effectuer des recommandations.
• Faire des prévisions de vente.
• Analyse sémantique.
• Computer vision avec Spark et PyTorch.
• Analyse temps réel avec Spark et Kafka.