Ingestion de données avec Kafka et NiFi

Objectifs, programme, validation de la formation

Objectifs

• Comprendre l’architecture de Kafka et son mode de fonctionnement dans un contexte multiclient
• Publier et récupérer des données vers un cluster Kafka
• Créer vos propres Consumers et Producers avec Kafka
• Comprendre l’architecture et les concepts de flux de données de NiFi
• Développer des extensions à l’aide d’API NiFi et tierces
• Personnaliser et développer votre propre processeur Apache NiFi
• Acquérir et traiter des données en temps.

Description, programmation

Introduction Kafka

• Historique et complexité des systèmes
• Le traitement en temps réel : un important business
• Kafka : une plateforme de données de flux
• Aperçu de Kafka et de son efficacité
• Producers
• Brokers
• ConsumersInstallation et architecture
• Installation et options avancées
• Considération matérielle (hardware)
• Fichiers journaux de Kafka
• Réplication et fiabilité
• Chemins d’écriture et de lecture de Kafka
• Partitions, consumer groups et scalabilityDéveloppement et mise en oeuvre
• Cas d’utilisation de Kafka Streams
• Kafka Streams : les fondamentaux
• Etude d’une application et usage de Kafka StreamsIntroduction NiFi
• Différence entre données froides et données chaudes
• Présentation des outils et technologies Big Data
• Hadoop (HDFS et MapReduce) et Spark
• Installation et configuration de NiFi
• Vue d’ensemble de l’architecture NiFi
• Approches de développement
• Outils de développement d’applications et état d’esprit
• Extraction, transformation et chargement (ETL) des outils et de la mentalitéMise en oeuvre de NiFi
• Considérations sur la conception
• Composants, événements et modèles de processeur
• La gestion des erreurs
• Services de contrôleur
• Tests et dépannage
• Contribuer à Apache NiFi

Validation et sanction

Attestation de formation

Type de formation

Perfectionnement, élargissement des compétences

Niveau de sortie sans niveau spécifique

---

Durée, rythme, financement

Durée 21 heures en centre
Durée indicative : 3 jours

Modalités de l'alternance -

Conventionnement Non

Conditions d'accès

Niveau d'entrée sans niveau spécifique

Conditions spécifiques et prérequis Avoir lesconnaissances debase d'unsystème Unix etdulangageJava.

Périodes prévisibles de déroulement des sessions

Session débutant le : 01/01/2021

Adresse d'inscription
146 rue de picpus 75012 Paris 12e

Lieu de formation

---

Organisme de formation responsable