S'INSCRIRE
Nos formations :
Formation Flink, développer des applications pour le Big Data
- Programme
- Participants / Prérequis
- Intra / sur-mesure
Apache Flink est un Framework BigData récent. Il simplifie les traitements de flux gros débit temps réels comme les traitements batch sur d'énormes quantités de données (sur Hadoop HDFS, sur Amazon S3, sur MongoDB...). Ce cours vous permet d'installer Flink et de réaliser, en Java, des traitements variés de Big Data.
Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :- Maîtriser les concepts fondamentaux de Flink
- Développer des applications à l'aide de DataSet et DataStream API
- Traitement de données distribué avec Flink et Hadoop
- Exploiter des données avec Table API
- Avoir une première approche du machine learning
Travaux pratiques
Introduction à Apache Flink
- Historique du framework.
- Les différentes versions de Flink.
- Comparaison avec l'environnement Apache Hadoop et Apache Spark.
- Les différents modules de Flink.
Travaux pratiques
Installation et configuration de Flink. Exécution d'un premier exemple avec le comptage de mots.
Traitement de données à l'aide de l'API DataStream
- Environnement d'exécution et sources de données.
- Les transformations: Map, FlatMap, Filter, KeyBy, Reduce...
- Les opérations sur des flux multiples : Union, Cogroup, Connect, Join, Iterate...
- Les opérations sur Windows : Global, Tumbling, Sliding, Session...
- Le partitionnement physique personnalisé, aléatoire, rééquilibrage et redimensionnement.
- Les DataSink et les connecteurs : Kafka, Twitter, ElasticSerch...
Travaux pratiques
Consommation et manipulation de différents flux des données.
Traitement de données à l'aide de l'API Batch
- Les différents types de sources de données.
- Les transformations et agrégations.
- L'écriture des données.
- Les DataSink et les connecteurs : HDFS, S3, Avro, MongoDB.
Travaux pratiques
Manipulation de DataSets à partir de plusieurs sources de données.
Traitement de données à l'aide de l'API Table
- Enregistrement et lecture des tables enregistrées.
- Les opérateurs : sélection, filtre, jointure, orderBy...
- Utiliser du SQL sur le flux de données.
- Traitement des événements complexes.
Travaux pratiques
Mise en place d'une analyse avec SQL sur un flux de données.
