Formation : Python, programmation parallèle et calcul distribué

Python, programmation parallèle et calcul distribué

Le succès de Python pour les applications scientifiques (Data science, Big Data, Machine Learning...) requiert de plus en plus de capacités de calculs. Ce cours vous initie au paradigme du calcul parallèle/distribué, des concepts de base aux techniques et librairies les plus avancées de l’écosystème Python.

INTER

INTRA

SUR MESURE

Cours pratique en présentiel ou à distance
Disponible en anglais, à la demande

Réf. PYP

4j - 28h00

Prix : 2440 € H.T.

Pauses-café et
déjeuners offerts

Dates, lieux et inscription

Télécharger le programme

Partager cette formation

Description
Programme
Financement
Dates

Objectifs pédagogiques

À l’issue de la formation, le participant sera en mesure de :

	Acquérir les concepts de la programmation parallèle
	Savoir identifier les portions d’un programme qui sont parallélisables
	Posséder une vision claire de l’écosystème de calcul parallèle pour Python
	Développer des applications parallélisées (programmation asynchrone, multithreading, multiprocessing, calcul distribué)
	Savoir exécuter des calculs sur les GPU des cartes graphiques
	Savoir exécuter un workflow de tâches dans le Cloud

Public concerné

Développeurs, data scientists, data analysts, chefs de projets.

Prérequis

Bonnes connaissances du langage Python et si possible de ses librairies scientifiques Numpy, Scipy et Pandas.

Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant ce test.

Méthodes et moyens pédagogiques

Méthodes pédagogiques

70% du temps est consacré à la mise en pratique des concepts et librairies présentées. L’utilisation des notebooks Jupyter et l’exécution de code dans le Cloud apportent une réelle interactivité.

Modalités d'évaluation

Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…

Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Programme de la formation

Le parallélisme et son écosystème Python

Les différentes formes du parallélisme et ses architectures (CPU, GPU, ASIC, FPGA, NUMA, OpenMP, MPI... ).
Contraintes et limites.
L’écosystème de calcul parallèle pour Python.

Travaux pratiques

Profiling d’un programme (cProfile, Kcachegrind et pyprof2calltree). Compiler un programme C avec les instructions SIMD. Bien installer Numpy : comment obtenir un gain de vitesse x40.

Les bases : programmation asynchrone, multithreading et multiprocessing

Programmation asynchrone : générateurs et asyncio.
Multithreading : accès concurrents, verrous…
Limites du multithreading en Python.
Multiprocessing : mémoire partagée, pools de process, conditions...
Premier cluster de calcul distribué avec les Managers et Proxy.

Travaux pratiques

Réalisation d'une même chaîne de traitement de données avec chaque modèle et d’un cluster de calcul distribué entre les machines des participants.

Calcul distribué : Celery, Dask et PySpark

Concepts et configuration.
Mise en œuvre de chaque librairie.

Travaux pratiques

Plusieurs exercices seront abordés (calcul matriciel, traitement d’image/texte, Bitcoin, Machine Learning...). Utilisation des notebooks Zeppelin.

Calculer sur GPU

Les architectures GPU : kernels, mémoire, threads...
Les librairies OpenCL et CUDA.
Mise en œuvre des librairies Scikit-cuda, PyCUDA et Numba.

Travaux pratiques

Calcul matriciel et traitement d’images. Machine Learning avec la librairie mxnet : Neural Art. Compilation Just In Time.

Autres librairies de programmation parallèle

Message Passing Interface avec MPI4py.
PyOpenCL : implémenter un code avec des systèmes hétérogènes.
Joblib : Les pipelines légers.
Greenlets : vers un meilleur multithreading.
Pythran : Compiler vos programmes Python sur architectures multicœurs et vectorisées.

Travaux pratiques

Exercices de base avec chaque librairie.

Créer des workflows de tâches

Les primitives disponibles avec Celery, Dask et PySpark.
Créer et superviser des workflows avec les librairies Luigi et Airflow.

Travaux pratiques

Création de pipelines de traitements de données avec chaque librairie.

Exécuter des calculs dans le Cloud

Panorama de l’offre Internet pour le Cloud.
Administrer un cluster avec Ansible.

Travaux pratiques

Effectuer des calculs dans le Cloud.

Solutions de financement

Plusieurs solutions existent pour financer votre formation et dépendent de votre situation professionnelle.
Découvrez-les sur notre page Comment financer sa formation ou contactez votre conseiller formation.

Avis clients

4,4 / 5

Les avis clients sont issus des évaluations de fin de formation. La note est calculée à partir de l’ensemble des évaluations datant de moins de 12 mois. Seules celles avec un commentaire textuel sont affichées.

MYRIAM O.

09/07/24

5 / 5

Très satisfait. Le formateur s’adapte à nos centres d’intérêt et n’hésite pas à modifier les exercices en conséquence. Formation très agréable et formateur sympathique.

ARNAUD MARIE G.

27/05/24

5 / 5

La mise en pratique est parfois un peu "simple" et rapide, par exemple, lors de l’exercice sur les mots de passe, j’aurais aimé écrire le code pour récuperer cette liste de hashs et écrire une version simple de hashcat plutot que d’utiliser l’executable directement.

Horaires

les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.

Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.

Dates et lieux

Sélectionnez votre lieu ou optez pour la classe à distance puis choisissez votre date.

Classe à distance

Dernières places

Date garantie en présentiel ou à distance

Session garantie