Objectifs, programme, validation de la formation
Objectifs
Comprendre le principe de fonctionnement de Spark
Utiliser l’API PySpark pour interagir avec Spark en Python
Utiliser les méthodes de Machine Learning avec la librairie MLlib de Spark
Traiter les flux de données avec Spark Streaming
Manipuler les données avec Spark SQL.
Description, programmation
Introduction à Hadoop
L’ère du Big Data
Architecture et composants de la plateforme Hadoop
HDFS
NameNode / DataNode / ResourceManager
MapReduce et YARN
Introduction à Spark
Qu’est-ce que Spark ?
Spark vs MapReduce
Fonctionnement
RDD
DataFrames
Data Sets
Comment interagir avec Spark ?
PySpark : programmer avec Spark en Python
Installation de Spark
Sur une infrastructure distribuée
En local
En Cloud (présentation avec Amazon AWS et Microsoft Azure)
Jour 2
Spark pour la manipulation des données - PySpark
Utilisation de SparkSQL et des DataFrames pour manipuler des données
Charger des données depuis Hadoop, depuis des fichiers CSV, texte, JSON...
Transformer des données (création de DataFrames, ajout de colonnes, filtres...)
Exemple de travaux pratiques (à titre indicatif)
Chargement et modifications de données avec Spark et PySpark
L’utilisation de spark.ml pour le Machine Learning
Apprentissage supervisé
Forêts aléatoires avec Spark
Mise en place d’un outil de recommandation
Traitement de données textuelles
Automatiser vos analyses avec des pipelines
Jour 3
Spark Streaming
Introduction à Spark Streaming
La notion de "DStream"
Principales sources de données
Utilisation de l’API
Manipulation des données
Spark SQL
Initialisation à Spark SQL
Création de DataFrames
Manipulation des DataFrames (opérations basiques, agrégations et groupBy, missing data)
Chargement et stockage de données (avec Hive, JSON...)
GraphX et GraphFrames
Présentation de GraphX
Principe de création des graphes
API GraphX
Présentation de GraphFrames
GraphX vs GraphFrames
Validation et sanction
Attestation
Type de formation
Perfectionnement, élargissement des compétences
Niveau de sortie sans niveau spécifique
Durée, rythme, financement
Durée 21 heures en centre
Modalités de l'alternance -
Conventionnement Non
Conditions d'accès
Niveau d'entrée information non communiquée
Conditions spécifiques et prérequis -
Inscription
Contact renseignement Madame Rébecca MONNET
Téléphone 04 42 39 31 37
Périodes prévisibles de déroulement des sessions
Session débutant le : 01/01/2021
Adresse d'inscription
Domaine du Tourbillon bât B
235 rue Denis Papin 13100 Aix-en-Provence
Lieu de formation
Téléphone