Formation : Hadoop, développer des applications pour le Big Data

Hadoop, développer des applications pour le Big Data

Ce cours vous apprendra à développer des applications vous permettant de traiter des données distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.

INTER

INTRA

SUR MESURE

Cours pratique en présentiel ou à distance
Disponible en anglais, à la demande

Réf. APH

4j - 28h00

Prix : 2920 € H.T.

Pauses-café et
déjeuners offerts

Dates, lieux et inscription

Télécharger le programme

Partager cette formation

Description
Programme
Financement
Dates

Objectifs pédagogiques

À l’issue de la formation, le participant sera en mesure de :

	Construire un programme à base de Map Reduce
	Intégrer Hadoop HBase dans un workflow d'entreprise
	Travailler avec Apache Hive et Pig depuis HDFS
	Utiliser un graphe de tâches avec Hadoop

Public concerné

Concepteurs, développeurs.

Prérequis

Bonne expérience en développement Java. Des connaissances en architecture Web constituent un plus.

Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant ce test.

Méthodes et moyens pédagogiques

Travaux pratiques

Développement d'applications pour le Big Data.

Méthodes pédagogiques

Cours 30%, travaux pratiques 70%.

Modalités d'évaluation

Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…

Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Programme de la formation

Le Big Data

Définition du périmètre du Big Data.
Le rôle du projet Hadoop.
Les concepts de base des projets Big Data.
Présentation du Cloud Computing.
Différence entre Cloud Computing privé et public.
Les architectures Big Data à base du projet Hadoop.

Démonstration

Usage d'Hadoop et de GoogleApp.

Collecte de données et application de Map Reduce

Analyse des flux de données dans l'entreprise.
Données structurées et non-structurées.
Les principes de l'analyse sémantique des données d'entreprise.
Graphe des tâches à base de MapReduce.
La granularité de cohérence des données.
Transfert de données depuis un système de persistance dans Hadoop.
Transfert de données d'un Cloud dans Hadoop.

Travaux pratiques

Gérer la collecte d'informations clientèles par Map Reduce. Configuration de l'implémentation YARN. Développement d'une tâche basée sur Map Reduce.

Le stockage des données avec HBase

Plusieurs types de base de données XML.
Patterns d'usages et application au Cloud.
Application de Hadoop database au sein d'un workflow.
Utilisation des projets Hive/Pig.
Utilisation du projet HCatalog.
L'API Java HBase.

Travaux pratiques

Gérer les modifications d'un catalogue de données fournisseur.

Le stockage des données sur HDFS

Patterns d'usages et application au Cloud.
Architecture et installation d'un système HDFS, journal, NameNode, DataNode.
Opérations, commandes et gestion des commandes.
L'API HDFS Java.
Analyse de données avec Apache Pig.
Le langage Pig Latin. Utiliser Apache Pig avec Java.
Requêtage avec Apache Hive.
Réplication de données. Partage de données sur une architecture HDFS.

Travaux pratiques

Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation.

Spring Data Hadoop

Introduction à Spring et Spring Data.
Le namespace Hadoop pour Spring.
Utiliser Spring pour simplifier la configuration Hadoop.
Configuration du cache distribué.
Définition des Jobs et dépendance entre Jobs.
Intégration des outils (Pig, Hive...).

Travaux pratiques

Refondre la gestion du catalogue de données fournisseur via Spring Data.

Solutions de financement

Plusieurs solutions existent pour financer votre formation et dépendent de votre situation professionnelle.
Découvrez-les sur notre page Comment financer sa formation ou contactez votre conseiller formation.

Avis clients

4,6 / 5

Les avis clients sont issus des évaluations de fin de formation. La note est calculée à partir de l’ensemble des évaluations datant de moins de 12 mois. Seules celles avec un commentaire textuel sont affichées.

RAPHAËL N.

12/11/24

5 / 5

Sujet relativement complexe (plusieurs technologies), mais bien expliqué

YOAN T.

12/11/24

5 / 5

Le programme de la formation est très complet, il y a beaucoup (trop) de choses à voir au vu du temps de formation. Pour ma part, j’aurais apprécié un peu plus de pratique au vu du peu de temps total. La théorie était très intéressante mais limite malheureusement le temps de pratique.Au niveau pédagogique, le formateur était très à l’écoute, c’était très agréable.

ARNAUD L.

12/11/24

4 / 5

Le contenu est malheureusement trop dense pour uniquement 4 jours. Le formateur maitrise bien les sujets.

Horaires

les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.

Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.

Dates et lieux

Sélectionnez votre lieu ou optez pour la classe à distance puis choisissez votre date.

Classe à distance

Dernières places

Date garantie en présentiel ou à distance

Session garantie