REF S032

Durée : 1 jour - Prix : 950€HT/Participant

Apache NiFi : L’ingestion de données scalables facile à mettre en place

Découverte de la plateforme Apache Nifi et de son architecture

Sujets Abordés

#ApacheNiFi #DataFlow #IngestionDeDonnées #Scalability #TempsRéel #OpenSource #TraitementDeDonnées #Automatisation #Cluster #HauteDispo #EventOrientedArchitecture

Contexte

Apache NiFi (Hortonworks DataFlow) est une plateforme scalable qui acquiert en temps réel des données issues de sources multiples, assure le transfert, le suivi et l’automatisation des données et événements entre systèmes. La solution propose également une interface utilisateur basée sur le web pour gérer les flux de données en temps réel et définir visuellement des traitements. 

Objectifs pédagogiques

Cette formation présente Apache NiFi selon différents points de vue, dont (liste non exhaustive) :

  • Le point de vue utilisateur
    • Utilisation de NiFi
    • Création et modification de DataFlow
    • Cas d’usage
    • Exercices
  • Le point de vue administrateur
    • Gestion des droits
    • Mise en place de cluster
    • Administration
    • Scalabilité

Cette formation vous donne les clés pour : installer, configurer, administrer, développer et manager vos pipelines de flux de données NiFi selon vos besoins.

Programme de la formation

Principes et objectifs d’Apache NiFi

Cette formation présente Apache NiFi selon différents points de vue, dont (liste non exhaustive) :

  • Ergonomie
    • Expérience homogène entre la conception, le contrôle, le retour d’information et le monitoring
  • Adaptabilité
    • Flux de données modifiable à l’exécution
    • Priorisation dynamique
    • Faible latence contre haut débit
  • Suivi
    • Suivi des flux de données du début à la fin de leur chemin
  • Sécurité
    • SSL, HTTPS, SSH
    • Autorisation multilocataire, autorisation interne et gestion de la politique
  • Clustering
    • Fonctionnement de NiFi en cluster pour assurer une meilleure disponibilité 

Principes et objectifs d’Apache NiFi

Concepts importants à connaître pour utiliser pleinement NiFi : 

  • Flowfile : Format de données utilisé par NiFi (données et attributs)
  • Processor : Applique des transformations et des règles aux FlowFiles lors de leur passage
  • Connector : Lien directionnel entre deux processors

Les principaux composants d’Apache NiFi : 

  • WebServer: Héberge l’interface HTTP de NiFi
  • Flow Controller: Sert de broker entre processeurs à travers l’échange de FlowFiles
  • Extension et Processor : Exécutent des traitements
  • FlowFile Repository : Stocke l’état dun ou plusieurs FlowFiles actifs
  • Content Repository : Stocker les événements associés à la provenance des données

Les concepts, leur utilisation et plusieurs exemples de processeurs sont représentés en détail lors de la formation.

 

Démonstrations

Au cours de cette formation vous assistez à des démonstrations :

  • Installation et paramétrage d’une instance NiFi
  • Création d’un DataFlow
  • Création de Process Group pour regrouper plusieurs processeurs
Pour toute demande spécifique ou formation intra-entreprise :
Contactez-nous !