Expertise Bonne pratiques : industrialisation de modèles

Industrialisation de Modèles

Mettez à l’échelle vos projets de Data Science pour en tirer pleinement profit !

L’enjeu de l’industrialisation de modèle de Machine Learning est double :

  • Déploiement du modèle
  • Apport des données en temps réel ou en batch pour réaliser les prédictions à partir des modèles de Machine Learning

Déploiement du modèle

Cette phase consiste dans un premier temps à choisir sur quel type d’infrastructure le modèle doit être déployé (Cloud, On-premise, hybride) et définir les technologies pour réaliser l’entrainement (Spark ML, AWS SageMaker, Azure Machine Learning, …). Dans un second temps, l’objectif est de créer un pipeline de déploiement capable de fonctionner avec l’ensemble de vos données. Les principales étapes sont les suivantes :

  • La collection automatique des données centralisées dans un point de référence,
  • L’application des opérations de nettoyage et de feature engineering définies par les Data Scientists
  • La création du modèle avec les hyper-paramètres spécifiés par les Data Scientists ou basés sur des Grid-search
  • La création d’un script de prédiction
  • L’exposition du modèle avec par exemple une API REST.

Finalement, l’automatisation du pipeline d’entraînement avec des méthodes d’A/B Testing pour vérifier la performance des nouveaux modèles et des scripts d’alerte avec pour objectif de tester si un modèle en production passe en-dessous d’un taux de prédictions correctes inférieures à un certain seuil.

Nexworld vous propose de vous accompagner sur cette phase avec un profil « technique » appelé « Machine Learning Engineer ». Ce type de profil a la capacité de comprendre les algorithmes réalisés par les Data Scientists et de les passer à l’échelle avec des technologies comme SparkML.

Apport des données en temps réel ou en batch pour réaliser les prédictions à partir des modèles de Machine Learning

Cette phase consiste à désigner le flux de données qui doit arriver jusqu’au modèle pour réaliser les prédictions. Ce flux peut être fait par batch ou en temps réel. Cette phase n’est pas à négliger, même si elle peut paraître plus simple que la première, il n’en est rien.
L’approche temps réel apporte toutes les contraintes spécifiques à la scalabilité, la consistance des données, le load balancing des instances du modèles de Machine Learning etc…

L’approche batch, plus connu, apporte moins de contrainte que la première. Cependant, une mauvaise conception dans cette phase pourra aisément entraîner des temps de traitement très longs avec les coûts associés.

Ces deux approches font intervenir les mêmes problématiques que celles présentées dans la partie Data Engineering et Data Streaming
Nexworld vous propose de vous accompagner sur cette phase avec deux types de profils :

  • Le Data Engineer capable de créer ces flux de traitements temps réel ou batch
  • Le Machine Learning Engineer capable de retranscrire toutes les spécificités techniques du modèle et le formatage des données qui est attendu en entrée du modèle au Data Engineer

Technologies associées :

  • Spark ML
  • Azure Machine Learning
  • AWS SageMaker
  • GCP ML Engine/AI platform

Nous vous accompagnons

Nexworld intervient à toutes étapes de votre projet, quel que soit votre niveau de maturité :

  • Découvrir de nouveaux sujets, avoir une réflexion stratégique
  • Définir des cas d’usage, développer des MVP
  • Approfondir certains sujets
  • Créer de nouveaux Business Modèles
  • Former vos équipes pour démontrer le potentiel de nos expertises
  • Mettre en œuvre un périmètre défini
  • Obtenir un retour d’expérience
  • Industrialiser afin de monter en échelle

Nous vous formons

Nos références sur l’Industrialisation de modèles

En savoir plus avec nos experts

Architecture Fast Data : par où commencer ?

Ce n’est plus un secret pour personne, les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante d’année en année. Pourtant, même si les entreprises sont conscientes des masses de données qu’elles ont à leur disposition, la question de savoir comment les exploiter peine toujours à être traitée.

Architecture Fast Data : par où commencer ?

Ce n’est plus un secret pour personne, les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante d’année en année. Pourtant, même si les entreprises sont conscientes des masses de données qu’elles ont à leur disposition, la question de savoir comment les exploiter peine toujours à être traitée.

Kafka, pierre angulaire des Architectures Fast Data ?

Comment éviter que le Big Data ne devienne un « Big Mess » ? C’est pour répondre à cette question qu’en 2009 les équipes de LinkedIn, confrontées à des problématiques d’intégration de données auxquelles les outils disponibles ne répondaient pas, élaborent un nouveau bus de messages distribué : Kafka.

Kafka ou Artemis : Comment bien choisir son broker de messages ?

Une communication asynchrone ne peut se faire sans la présence d’un MOM (Message Oriented Middleware) entre le client et le serveur. Un tel middleware va permettre de mettre en attente les messages envoyés par le client en direction du serveur, et inversement.

Big Data : Splunk versus la Suite Elastic

Avec le Big Data et l’explosion du volume de données, une question s’impose : comment exploiter ces données et en extraire de la valeur ? Deux outils se disputent aujourd’hui la place de leader dans le domaine : Splunk (le propriétaire), et la Suite Elastic (l’open source)

Expertise Machine Learning

Machine Learning

Améliorez vos insights Métiers !

L’expertise Machine Learning se découpe en 3 grandes offres :

Cadrage de projets de Machine Learning

Comme dans tout projet, que ce soit pour aider les Métiers à déterminer ce que le Machine Learning peut apporter dans l’environnement de travail, ou pour comprendre les besoins en termes de Data Science, il est nécessaire de venir spécifier, analyser et cadrer ses besoins pour assurer une bonne continuité dans la phase de développement.

Nexworld propose un accompagnement avec des profils qui ont la capacité de comprendre les enjeux Métiers tout en ayant les connaissances suffisantes en Data Science pour identifier les sources de données pertinentes. Cela permet de répondre aux enjeux et être force de proposition sur des sujets de prédiction ou d’analyse de données plus spécifiques. De plus, en cas de besoin, ces profils ont la possibilité de s’appuyer sur des compétences plus « techniques » pour répondre à des questions spécifiques.

Conception d’algorithmes de Machine Learning complexes

L’implémentation d’algorithmes de Machine Learning performants est un enjeu qui requiert des compétences poussées dans le domaine de la statistique et du Machine Learning. Elle comprend les grandes phases d’analyse des données, nettoyage des données, de feature engineering et de modélisation.

Nexworld propose un accompagnement adapté afin de prendre en compte la connaissance du Métier et de la valider avec la partie analyse de données en la transcrivant de manière algorithmique. Nous sommes aussi capable de faire notre propre analyse et créer de nouvelles variables ou ajouter des données extérieures pertinentes pour améliorer la performance du modèle.

Audit de modèles de Machine Learning

La performance d’un modèle de Machine Learning est directement liée aux données qui sont utilisées pour entraîner le modèle ou le type de modèle que l’on utilise. Il peut arriver que lors d’un processus de Data Science, un Data Scientist passe à côté de certaines pistes d’exploration et de modélisation qui pourraient significativement améliorer la performance du modèle.

Nexworld propose donc un accompagnement sur l’audit d’algorithme de Machine Learning existant, dans le but de proposer de potentielles pistes d’amélioration. Un Data Scientist aura la charge de cette phase d’audit avec, en fonction de l’auditoire, un couplage avec un profil plus « conseil » si une restitution vulgarisée doit être réalisée à l’issue de cette phase d’audit.

Technologies associées :

  • Python
  • Jupyter
  • R

Nous vous accompagnons

Nexworld intervient à toutes étapes de votre projet, quel que soit votre niveau de maturité :

  • Découvrir de nouveaux sujets, avoir une réflexion stratégique
  • Définir des cas d’usage, développer des MVP
  • Approfondir certains sujets
  • Créer de nouveaux Business Modèles
  • Former vos équipes pour démontrer le potentiel de nos expertises
  • Mettre en œuvre un périmètre défini
  • Obtenir un retour d’expérience
  • Industrialiser afin de monter en échelle

Nous vous formons

Nos références Machine Learning

En savoir plus avec nos experts

Architecture Fast Data : par où commencer ?

Ce n’est plus un secret pour personne, les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante d’année en année. Pourtant, même si les entreprises sont conscientes des masses de données qu’elles ont à leur disposition, la question de savoir comment les exploiter peine toujours à être traitée.

Architecture Fast Data : par où commencer ?

Ce n’est plus un secret pour personne, les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante d’année en année. Pourtant, même si les entreprises sont conscientes des masses de données qu’elles ont à leur disposition, la question de savoir comment les exploiter peine toujours à être traitée.

Kafka, pierre angulaire des Architectures Fast Data ?

Comment éviter que le Big Data ne devienne un « Big Mess » ? C’est pour répondre à cette question qu’en 2009 les équipes de LinkedIn, confrontées à des problématiques d’intégration de données auxquelles les outils disponibles ne répondaient pas, élaborent un nouveau bus de messages distribué : Kafka.

Kafka ou Artemis : Comment bien choisir son broker de messages ?

Une communication asynchrone ne peut se faire sans la présence d’un MOM (Message Oriented Middleware) entre le client et le serveur. Un tel middleware va permettre de mettre en attente les messages envoyés par le client en direction du serveur, et inversement.

Big Data : Splunk versus la Suite Elastic

Avec le Big Data et l’explosion du volume de données, une question s’impose : comment exploiter ces données et en extraire de la valeur ? Deux outils se disputent aujourd’hui la place de leader dans le domaine : Splunk (le propriétaire), et la Suite Elastic (l’open source)

Expertise Citizen Data Scientist

Citizen Data Scientist

Accélérez la mise en place de vos projets de Data Science !

Le Gartner définit le Citizen Data Scientist comme un individu qui crée ou génère des modèles exploitant l’analyse prédictive ou normative mais dont la fonction principale est en dehors du domaine des statistiques et de l’analyse. Issu des équipes Métiers, il est alors capable d’allier la Data Science à son expertise Métier pour extraire de la valeur à partir des données.

Son rôle ne remplace pas celui des experts : il est complémentaire à celui du Data Scientist qui travaillera sur des méthodes d’analyses spécifiques et plus avancées. En effet, le Citizen Data Scientist fait le lien entre les Analystes Métiers et les Data Scientists en apportant aux processus sa propre expertise Métier et ses connaissances en Data Science.

Nexworld vous propose de vous accompagner dans la formation de Citizen Data Scientist, dans le choix et l’utilisation de plateformes adaptées pour des projets de Data Science ainsi que dans la mise en place de ces projets.

Pourquoi tirer parti des Citizen Data Scientists dans son entreprise ?

  • Il est nécessaire de s’assurer que l’on explore les bons domaines de la Data Science pour optimiser son ROI
  • L’exploration de méthodes plus avancées sera réservée aux Data Scientists, permettant d’aller plus loin dans les analyses prédictives
  • La Data Science ne doit pas être une boîte noire, il est important de réduire la fracture technique-Métier
  • Leur rôle permet d’accélérer la mise en place de projets de Data Science par des Métiers, curieux d’explorer les algorithmes de Machine Learning pour leurs cas d’usage

Technologies associées :

Préparation des données :

Trifacta

Plateformes de Data Science :

RapidMiner, Alteryx, Dataiku, DataRobot, H2O.ai, TIBCO Data Science

Visualisation des données :

Tableau, Qlik, PowerBI, Google Data Studio

Nous vous accompagnons

Nexworld intervient à toutes les étapes de votre projet, quel que soit votre niveau de maturité :

  • Découvrir de nouveaux sujets, avoir une réflexion stratégique
  • Définir des cas d’usage, développer des MVP
  • Approfondir certains sujets
  • Créer de nouveaux Business Modèles
  • Former vos équipes pour démontrer le potentiel de nos expertises
  • Mettre en œuvre un périmètre défini
  • Obtenir un retour d’expérience
  • Industrialiser afin de monter en échelle

En savoir plus avec nos experts

Architecture Fast Data : par où commencer ?

Ce n’est plus un secret pour personne, les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante d’année en année. Pourtant, même si les entreprises sont conscientes des masses de données qu’elles ont à leur disposition, la question de savoir comment les exploiter peine toujours à être traitée.

Architecture Fast Data : par où commencer ?

Ce n’est plus un secret pour personne, les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante d’année en année. Pourtant, même si les entreprises sont conscientes des masses de données qu’elles ont à leur disposition, la question de savoir comment les exploiter peine toujours à être traitée.

Kafka, pierre angulaire des Architectures Fast Data ?

Comment éviter que le Big Data ne devienne un « Big Mess » ? C’est pour répondre à cette question qu’en 2009 les équipes de LinkedIn, confrontées à des problématiques d’intégration de données auxquelles les outils disponibles ne répondaient pas, élaborent un nouveau bus de messages distribué : Kafka.

Kafka ou Artemis : Comment bien choisir son broker de messages ?

Une communication asynchrone ne peut se faire sans la présence d’un MOM (Message Oriented Middleware) entre le client et le serveur. Un tel middleware va permettre de mettre en attente les messages envoyés par le client en direction du serveur, et inversement.

Big Data : Splunk versus la Suite Elastic

Avec le Big Data et l’explosion du volume de données, une question s’impose : comment exploiter ces données et en extraire de la valeur ? Deux outils se disputent aujourd’hui la place de leader dans le domaine : Splunk (le propriétaire), et la Suite Elastic (l’open source)

Expertise Audit SI

Audit SI

Un outil pour améliorer les éléments clés de votre Système d’Information

Vous avez rencontré des problèmes de production, vous pensez qu’un Système est obsolète et mériterait d’être refondu ou plus globalement vous vous posez des questions sur un périmètre particulier ? L’Audit est un outil essentiel pour les DSI en mutation et sa nécessité est de plus en plus présente à l’heure où la plupart des équipes sont focalisées en mode projet sur les nouveaux besoins Métiers et technologiques à mettre en œuvre pour rester compétitif.

Il peut être délicat d’identifier les solutions aux problématiques actuelles de time to market et de performances opérationnelles et applicatives, surtout dans un contexte d’urgence qui prévaut trop souvent sur la prise de recul nécessaire à l’identification de solutions simples et pérennes.
Avoir un regard externe et indépendant sur un périmètre fonctionnel ou applicatif permet souvent d’identifier les axes d’amélioration non perçus ou parfois ignorés.

Dans le cadre de nos Audits de Systèmes d’Information, nous suivons les bonnes pratiques d’Architecture à l’état de l’art. Ceci nous permet de vous apporter les réponses les plus pertinentes possibles avec le recul nécessaire grâce à nos nombreux retours d’expérience.

Pourquoi réaliser un Audit SI ?

  • Il offre une vision globale des points forts, pain points, écueils et difficultés d’un périmètre
  • Il apporte une vision sur plusieurs axes :
    • Architecture : applicatifs, flux et interfaces, infrastructure et appétence au Cloud
    • Méthodologie projet
    • Compétences, équipes et moyens
    • Cas d’usage du SI
    • Exigences de Qualité de Service
  • Il permet d’avoir un panel de recommandations, classées sur différents termes : directement applicables avec un gain réel de valeur ajoutée à court (quick win), moyen et long terme
  • Il contribue au diagnostic du SI
  • Il permet de définir un plan d’action en estimant les recommandations sur plusieurs axes (humain, matériel, licence) et en les ordonnançant
  • L’indépendance de l’Audit du Système d’Information et sa légitimité permettent de porter et justifier les changements dont l’organisation a besoin
  • Il y a peu d’impacts directs sur les équipes pendant la réalisation

Méthodologies associées :

  • Entretiens avec les équipes
  • Rapport d’étonnement
  • Méthodologie Lean : Value Stream Mapping
  • Mesures de performance (opérationnelle, applicative)
  • Quick Win
  • Contrôle et cartographie des processus (Qualité)

Nous vous accompagnons :

Nexworld peut vous accompagner sur toutes les étapes de réalisation d’un Audit :

  • Définition de la lettre de mission
  • Collecte de l’existant, des mesures et réalisation de tests
  • Collecte des exigences fonctionnelles, de sécurité et de performance
  • Rédaction du rapport d’étonnement avec définition de la cible et de la trajectoire
  • Établissement du plan d’action choisi
  • Suivi de la mise en œuvre des recommandations
  • Accompagnement aux choix de solution
  • Accompagnement au changement des collaborateurs audités
Nos références Audit SI

En savoir plus avec nos experts

Kubernetes à la mode Edge

Les nouvelles sources d’événements telles que la voiture connectée dans l’automobile, le bâtiment et les bureaux intelligents ou encore l’industrie pour la surveillance des usines, nécessitent des capacités de calcul et de traitements en complément des infrastructures...

SOA versus Microservices : quelles différences ?

Entre les architectures SOA et microservices, les similitudes sont nombreuses. Alors comment distinguer ces deux types d’architectures ? Comment gérer la transition de l’une à l’autre ? Explications.

Expertise Event Driven Architecture

Event Driven Architecture

Placez vos événements Métiers au cœur de vos processus de prise de décision !

Historiquement, la programmation événementielle utilise le concept d’Event Driven en se basant sur la réaction aux événements tels que l’incrémentation d’une liste, un mouvement de souris ou un appui sur une touche de clavier pour déclencher des traitements. Aujourd’hui, des outils permettent de diffuser de manière asynchrone de larges volumes d’événements en temps réel et d’y réagir immédiatement.

L’Event Driven Architecture est une forme d’Architecture de Médiation qui orchestre la production, la détection et la consommation d’événements ainsi que les réponses qu’ils suscitent. Elle facilite la communication entre différentes applications évoluant indépendamment. En y associant du Data Streaming, il est désormais possible d’analyser et de détecter des événements au fil de l’eau.

L’avantage compétitif apporté par une Architecture Orientée Evènement réside dans la possibilité de fournir aux Métiers des informations fiables pour prendre les bonnes décisions ou déclencher les actions pertinentes par le traitement de données en temps réel pour servir le client en augmentant l’intimité vis-à-vis de celui-ci mais aussi améliorer l’excellence opérationnelle ou travailler sur l’axe de la supériorité produit.

Technologies associées :

Bus d’événements haute vélocité :

Kafka, Amazon Kinesis Firehose, Amazon Kinesis Data Streams, Azure Event Hubs, Google Cloud PubSub

Fonctions serverless/FaaS :

AWS Lambda, Azure Functions, Google Cloud Functions

Nous vous accompagnons

Nexworld intervient à toutes étapes de votre projet, quel que soit votre niveau de maturité :

  • Découvrir de nouveaux sujets, avoir une réflexion stratégique
  • Définir des cas d’usage, développer des MVP
  • Approfondir certains sujets
  • Créer de nouveaux Business Modèles
  • Former vos équipes pour démontrer le potentiel de nos expertises
  • Mettre en œuvre un périmètre défini
  • Obtenir un retour d’expérience
  • Industrialiser afin de monter en échelle

En savoir plus avec nos experts

Architecture Fast Data : par où commencer ?

Ce n’est plus un secret pour personne, les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante d’année en année. Pourtant, même si les entreprises sont conscientes des masses de données qu’elles ont à leur disposition, la question de savoir comment les exploiter peine toujours à être traitée.

Architecture Fast Data : par où commencer ?

Ce n’est plus un secret pour personne, les données sont aujourd’hui porteuses d’un potentiel incroyable avec une quantité toujours plus importante d’année en année. Pourtant, même si les entreprises sont conscientes des masses de données qu’elles ont à leur disposition, la question de savoir comment les exploiter peine toujours à être traitée.

Kafka, pierre angulaire des Architectures Fast Data ?

Comment éviter que le Big Data ne devienne un « Big Mess » ? C’est pour répondre à cette question qu’en 2009 les équipes de LinkedIn, confrontées à des problématiques d’intégration de données auxquelles les outils disponibles ne répondaient pas, élaborent un nouveau bus de messages distribué : Kafka.

Kafka ou Artemis : Comment bien choisir son broker de messages ?

Une communication asynchrone ne peut se faire sans la présence d’un MOM (Message Oriented Middleware) entre le client et le serveur. Un tel middleware va permettre de mettre en attente les messages envoyés par le client en direction du serveur, et inversement.

Big Data : Splunk versus la Suite Elastic

Avec le Big Data et l’explosion du volume de données, une question s’impose : comment exploiter ces données et en extraire de la valeur ? Deux outils se disputent aujourd’hui la place de leader dans le domaine : Splunk (le propriétaire), et la Suite Elastic (l’open source)

Expertise Architecture Orientée Microservices

Architecture Orientée Microservices

Agilité et évolutivité

L’Architecture Orientée Microservices allie bonnes pratiques de développement (modularité, tests, automatisation, application sans états…) avec des concepts d’Architecture logiciels forts (conception orientée par domaines métier – Domain Driven Design, Architecture Orientée événement – Event Driven Architecture…).

Nos Architectes vous accompagnent dans la conception d’une Architecture cohérente et robuste qui répondra à vos besoins d’évolutivité, de réutilisabilité des composants et de réactivité. Nous vous proposons une progression cohérente avec vos problématiques, adressant chaque besoin de manière indépendante au sein d’une vision globale. La mise en œuvre se fait au rythme propre de chaque besoin, offrant une grande souplesse qui s’adapte à vos priorités.

Associée à nos offres DevOps et Conteneurisation, l’Architecture Orientée Microservices est la voie la plus directe vers le déploiement continu et un time to market optimal pour chacune de vos applications.

Concepts :

  • Domain Driven Design
  • Event Driven Architecture
  • Automatisation CI/CD
  • Automatisation des tests

Nous vous accompagnons

Nexworld peut intervenir sur toutes les étapes de maturité de votre projet, qu’il s’agisse de : 

  • Découvrir de nouveaux sujets, avoir une réflexion stratégique
  • Définir des cas d’usage, développer des MVP
  • Approfondir certains sujets
  • Créer de nouveaux Business Modèles
  • Former vos équipes pour démontrer le potentiel de nos expertises
  • Mettre en œuvre un périmètre défini
  • Obtenir un retour d’expérience
  • Industrialiser afin de monter à l’échelle
Nous vous formons
Nos références en Architecture Microservices

En savoir plus avec nos experts

Kubernetes à la mode Edge

Les nouvelles sources d’événements telles que la voiture connectée dans l’automobile, le bâtiment et les bureaux intelligents ou encore l’industrie pour la surveillance des usines, nécessitent des capacités de calcul et de traitements en complément des infrastructures...

SOA versus Microservices : quelles différences ?

Entre les architectures SOA et microservices, les similitudes sont nombreuses. Alors comment distinguer ces deux types d’architectures ? Comment gérer la transition de l’une à l’autre ? Explications.