Data engineering avec Kafka Cassandre et Spark
Cette formation vous permettra d'apprendre à concevoir, développer et maintenir un pipeline data en utilisant les technologies Big Data modernes telles que Kafka, Cassandra et Spark, tout en maîtrisant les concepts de Data Engineering et l'architecture Big Data.
| Référence | 103151 |
|---|---|
| Durée | 3 jours |
| Type | Formation présentielle |
| Publics éligibles | Administration centrale et services déconcentrés MEF |
| Niveau | Perfectionnement |
Public
Ingénieurs Big Data, développeurs, architectes de données, responsables techniques impliqués dans la gestion et le traitement des données volumineuses.
Prérequis
Avoir des connaissance de base en programmation (Java, Scala ou Python).
Avoir des notions fondamentales sur les systèmes distribués et le traitement des données.
Compétences ciblées
Concevoir et implémenter un pipeline data basé sur Kafka, Cassandra et Spark.
Définir et appliquer les principes du Data Engineering.
Comprendre et utiliser les concepts de base des outils Spark, Cassandra et Kafka.
Décrire et exploiter les architectures Big Data dans un contexte pratique.
Profil intervenant-e-s
Professionnel expert technique et pédagogique.
Programme de formation
Introduction au Data Engineering et aux technologies Big Data.
Présentation du Data Engineering et ses enjeux. Concepts clés des pipelines de données et systèmes distribués.
Présentation de Kafka, Cassandra et Spark.
Fonctionnalités et cas d’usage de chaque outil.
Création et gestion des pipelines de données avec Kafka.
Configuration et gestion des topics Kafka.
Modélisation et gestion des données avec Cassandra.
Modélisation des données et gestion des clusters.
Traitement distribué avec Spark.
Concepts de RDD, DataFrames et SparkSQL.
Développement d’une application orientée use case.
Intégration de Kafka, Cassandra et Spark pour résoudre un cas concret.
Architecture Big Data
Conception et analyse d’une architecture Big Data moderne. Étude des bonnes pratiques et limitations.
Synthèse et perspectives
Discussion sur les évolutions et tendances.
Méthodes pédagogiques et d'évaluation
Auto-évaluation des compétences en début et fin de formation. Alternance d'exposés théoriques et d'exercices pratiques. Tour de table en fin de formation, questionnaire individuel stagiaire et intervenant. L'attestation de présence sera envoyée aux stagiaires sur demande auprès de votre chargé(e) de formation.
Sessions
| Date | Places disponibles |
|---|---|
| Aucune session prévue pour le moment | |
Informations
- pour les formations catalogue, auprès de votre conseiller formation ou, le cas échéant, auprès de votre chargé(e) de clientèle à l'IGPDE ou par saisine en ligne
- pour les préparations aux concours, auprès de l'IGPDE ou par saisine en ligne
Le numéro de téléphone pour joindre l’IGPDE est le 01 84 80 00 02.
Inscription
Aux formations
- pour les agents du Ministère des Finances (MEF) : formulaire en ligne dans votre espace Bagheera ou le cas échéant, contactez votre conseiller formation
- pour les agents hors Ministère des Finances (MEF) : compléter le bulletin d’inscription en cliquant ici : https://www.economie.gouv.fr/igpde/formations-informations-pratiques et transmettez le à votre conseiller formation.
Aux événements/séminaires
- pour tous : créez votre compte et inscrivez-vous en cliquant sur "Ajouter au panier".