Présentation d’Apache Spark

• Historique du framework.
• Les quatre principaux composants : Spark SQL, Spark Streaming, MLlib et GraphX.
• Les outils et les librairies Python pour Spark : PySpark, notebooks Jupyter, Koalas.
• Les concepts de programmation de Spark.
• Exécuter Spark dans un environnement distribué.

Utiliser Spark avec Python : les resilient distributed datasets (RDD)

• Configurer son environnement Python.
• Se connecter à Spark avec Python : les contextes et les sessions.
• Présentation des RDD. Créer, manipuler et réutiliser des RDD.
• Les principales fonctions/transformations, mise en œuvre d’algorithmes de type map/reduce.
• Accumulateurs et variables broadcastées.
• Utiliser des partitions.
• Utiliser les notebooks et soumettre des jobs Python.

Manipuler des données structurées

• Présentation de Spark SQL et des DataFrames et datasets.
• Les différents types/formats de sources de données.
• Interopérabilité avec les RDD.
• Utiliser la librairie PySpark Pandas.

Machine learning avec Spark

• Introduction au machine learning.
• Les différentes classes d'algorithmes.
• Présentation de MLlib.
• Implémentation des différents algorithmes dans MLlib.

Analyser en temps réel avec Spark Streaming

• Comprendre l’architecture du streaming.
• Présentation des Discretized Streams (DStreams).
• Les différents types de sources.
• Manipulation de l'API (agrégations, watermarking...).
• Machine learning en temps réel.

Théorie des graphes

• Introduction à la théorie des graphes (nœuds, arêtes, graphes orientés, chemins, principaux algorithmes).
• Utilisation de l’API.
• Présentation des librairies GraphX et GraphFrame.

• Parcours certifiant réaliser la collecte, le stockage et la mise à disposition des données d’un projet en intelligence artificielle - Réf. ZRI