REF S016
Durée : 1 jour - Prix : 950€HT/Participant
TIRER PROFIT DU STREAM PROCESSING POUR EXPLOITER SES DONNÉES TEMPS RÉEL
Concepts, solutions et mise en oeuvre des plateformes Data temps réel
Introduction
Disposer de la capacité d’exploiter l’information le plus rapidement possible permet d’atteindre de nouveaux objectifs en termes d’efficacité, d’agilité et de compétitivité.
Il devient primordial pour les entreprises disposant d’un Data Lake de faire évoluer leur architecture pour se diriger vers du traitement temps réel. Pour les autres, c’est l’opportunité de prendre le virage du Fast Data en se dotant des dernières approches en matière de traitement des données et ainsi de répondre à de nouveaux enjeux.
Ce séminaire traite les à l’aide d’exemples et de retours d’expérience, les sujets suivants :
- Découvrir les opportunités procurées par le Stream Processing
- Comprendre les concepts du Stream Processing pour concevoir votre architecture
- Identifier les composants techniques d’une plateforme Stream Processing en fonction des usages
Quels usages, pour quels objectifs ?
Le secteur de la finance ainsi que les projets IoT sont les domaines pour lesquels l’approche Data Streaming est la plus répandue. Néanmoins, des cas d’usage dans tous les secteurs d’activité peuvent être implémentés pour tirer profit du Data Streaming.
- Les différentes méthodes de traitement en temps réel
- La définition du Data Stream Processing
- Les grandes étapes nécessaires à la mise en place du Stream Processing
Architectures temps réel
Les Architectures Data traditionnelles orientée Batch ont évolué pour supporter des flux de données temps réel, connues sous les noms d’architectures Lamdba et Kappa, elles permettent de répondre à de nouveaux cas d’usage :
- Présentation des architectures Lamdba et Kappa, usages, avantages et limites
- Usage de l’architecture Lamdba selon Nexworld
- La plateforme de données idéale selon Nexworld
- L’ingestion des données avec les solution de Data Streaming
Vue d’ensemble des concepts du Data Stream Processing
Dans la plupart des architectures actuelles, l’analyse de données est réalisée en exécutant des requêtes sur des historiques statiques. Le Data Stream Processing analyse les données en mouvement au sein du SI, offrant ainsi de nouvelles capacités de traitement radicalement et fondamentalement différentes de l’approche traditionnelle.
- Explication de tous les concepts inhérents au Data Stream Processing
- Traitement temps réel sur des fenêtres de temps
- Garantie de traitement et State Full Processing
- Scalabilité et partitionnement
- Croisement et corrélation sources diverses en temps réel
- Streaming SQL
Panorama des solutions du marché
Présentation et grille de lecture des offres du marché open source, cloud et commerciales :
- Apache Flink, Apache Storm, Apache Beam, Kafka et Kafka Streams, Spark Streaming
- Amazon Kinesis et Kinesis Data Streams, Google Pub/Sub et Dataflow, Azure Event Hubs and Stream Analytics, IBM Event Streams et Streaming Analytics
- Confluent, Hortonworks, Cloudera, MapR, Software AG Apama
Démonstration d’un pipeline temps réel
En clôture de session, découverte d’application de traitement, d’exploitation et analyse en temps réel.
- Présentation d’un tableau de bord temps réel
- Comparaison de 4 solutions de streaming utilisés pur l’exploitation des données
