> Formations > Technologies numériques > Intelligence Artificielle, Big Data > Big Data > Formation Flink, développer des applications pour le Big Data > Formations > Technologies numériques > Formation Flink, développer des applications pour le Big Data
Vous avez déjà un compte client ORSYS
Se connecter
Vous êtes nouveau chez ORSYS
Créer un compte
Vous ne souhaitez pas créer de compte
Poursuivre sans me connecter

Formation : Flink, développer des applications pour le Big Data

Flink, développer des applications pour le Big Data




Apache Flink est un framework big data récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de big data.


INTER
INTRA
SUR MESURE

Cours pratique en présentiel ou à distance
Disponible en anglais, à la demande

Réf. FKB
  3j - 21h00
Prix : 2280 € H.T.
Pauses-café et
déjeuners offerts

Télécharger le programme

Partager cette formation




Apache Flink est un framework big data récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de big data.


Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
Maîtriser les concepts fondamentaux de Flink
Développer des applications à l'aide de DataSet et DataStream API
Traitement de données distribué avec Flink et Hadoop
Exploiter des données avec Table API
Avoir une première approche du machine learning

Public concerné
Développeurs, architectes.

Prérequis
Bonnes connaissances du langage Java.
Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant  ce test.

Méthodes et moyens pédagogiques
Travaux pratiques
Mise en pratique des notions vues en cours à l'aide du langage Java.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Programme de la formation

Introduction à Apache Flink

  • Historique du framework.
  • Les différentes versions de Flink.
  • Comparaison avec l'environnement Apache Hadoop et Apache Spark.
  • Les différents modules de Flink.
Travaux pratiques
Installation et configuration de Flink. Exécution d'un premier exemple avec le comptage de mots.

Traitement de données à l'aide de l'API DataStream

  • Environnement d'exécution et sources de données.
  • Les transformations : Map, FlatMap, Filter, KeyBy, Reduce...
  • Les opérations sur des flux multiples : Union, Cogroup, Connect, Join, Iterate...
  • Les opérations sur Windows : Global, Tumbling, Sliding, Session...
  • Le partitionnement physique personnalisé, aléatoire, rééquilibrage et redimensionnement.
  • Les DataSink et les connecteurs : Kafka, X (anciennement Twitter), ElasticSerch...
Travaux pratiques
Consommation et manipulation de différents flux des données.

Traitement de données à l'aide de l'API Batch

  • Les différents types de sources de données.
  • Les transformations et agrégations.
  • L'écriture des données.
  • Les DataSink et les connecteurs : HDFS, S3, Avro, MongoDB.
Travaux pratiques
Manipulation de DataSets à partir de plusieurs sources de données.

Traitement de données à l'aide de l'API Table

  • Enregistrement et lecture des tables enregistrées.
  • Les opérateurs : sélection, filtre, jointure, orderBy...
  • Utiliser du SQL sur le flux de données.
  • Traitement des événements complexes.
Travaux pratiques
Mise en place d'une analyse avec SQL sur un flux de données.

API Flink Graph - Gelly

  • Qu'est-ce qu'un graphe ?
  • Les différentes opérations.
  • Créer des graphes.
  • Transformations de graphes.
  • Présentation de différents algorithmes.
Travaux pratiques
Manipulation de l'API travers différents exemples.

Déploiement de Flink

  • Flink sur YARN Configurations.
  • Lancement et arrêt d'un cluster.
  • Soumettre un travail à Flink.
  • Flink sur Google Cloud.
  • Flink sur AWS.
Travaux pratiques
Configurer un cluster multinœuds et déployer une application.
Solutions de financement
Plusieurs solutions existent pour financer votre formation et dépendent de votre situation professionnelle.
Découvrez-les sur notre page Comment financer sa formation ou contactez votre conseiller formation.

Horaires
les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.