Kafka

Kafka est une plateforme de streaming distribuée permettant une gestion performante des flux de données en temps réel, une fiabilité à toute épreuve, une évolutivité facile, une intégration aisée et transparente et un modèle de publication/abonnement flexible, idéale pour les systèmes distribués et les applications orientées événements en temps réel.

Objectifs pédagogiques

Les objectifs pour un candidat ayant suivi cette formation sont :

• Identifier les principaux composants et avantages de Kafka.
• Installer et configurer Apache Kafka.

• Utiliser les APIs pour les producers et consumers.

• Mettre en œuvre et administrer Apache Kafka.

• Utiliser Kafka Connect pour l'intégration de données.

• Appliquer les principes fondamentaux de Kafka Streams.

• Assurer la sécurité et l'authentification dans Kafka.

Public concerné

Développeurs Java de tous niveaux, Architectes.

Prérequis

• Maîtriser le langage Java (POO, streams, etc.)
• Avoir une connaissance de Spring serait un plus.

Programme de la formation

Concepts et fondamentaux de Kafka

• Introduction. 
• Vue ensemble de Kafka.
• Les Producers.
• Les Brokers.
• Les Consumers.
• Utilisation de Zookeeper.
• Installation et configuration. 
• Les partitions et les groupes de consommation pour la scalabilité.

Architecture Kafka

• Architecture générale : vue d’ensemble.
• Les fichiers de logs de Kafka.
• Réplications et cohérence des données.

Développer avec Kafka

• Accéder à Kafka avec un programme client. 
• Développer un Producer en Java. 
• Utilisation des APIs REST pour produire des données.
• Développer un Consumer en Java.
• Utilisation des APIs REST pour consommer des données.

Gestion des schémas dans Kafka

• Introduction à Avro.
• Les schémas Avro.
• Utilisation du SchemaRegistry.

KAFKA CONNECT : intégrer des systèmes avec Kafka

• Les Motivations pour Kafka Connect.
• Les Concepts.
• Les modes de déploiements (standalone/distributed).
• Configuration en mode distribué.
• Gestion des Offsets.
• Configuration d'un connecteur.

Kafka Streams

• Cas d’usages et principes de base.
• Exemple d’utilisation de l’API Streams.
• Configuration et test d’une application Kafka Streams.
• Mise en place d'une programmatique de topologie.
• DSL comparaison avec processor API.
• Sources et destinations Kafka.
• Transformation stateless.
• Transformations stateful : agrégations, jointures, fenêtrage.
• Requêtes interactives.
• Kafka Streams et Tables.
• Message Kafka et Formats de données.
• Manipulation et agrégation de données.
• Fonctions définies par l'utilisateur (UDF).
• Enrichissement des données et jointures.

Mise en place de la sécurité 

• Comprendre les enjeux et les principes de sécurité d’un système Kafka.
• Utiliser le protocole SSL/TLS pour le cryptage et l’authentification.
• Utiliser la couche SASL pour l’authentification.
• Utiliser des listes de contrôle ACL pour les autorisations.

Administration

• Réplication de données.
• Récupération en cas d’échec.
• Fichiers de journalisation et gestion des offsets.
• Gestion de la configuration.
• Surveillance.
• Rétention et compactage des journaux.
• Mise en service et gestion des Brokers.

Moyens pédagogiques

Ateliers pratiques.