Un pipeline de données est une méthode selon laquelle des données brutes sont ingérées à partir de diverses sources de données, transformées, puis transférées vers un magasin de données tel qu’un data lake ou un entrepôt de données, à des fins d’analyse. 

Avant d’être injectées dans un référentiel de données, les données subissent généralement un certain traitement. Il s’agit notamment de transformations telles que le filtrage, le masquage et l’agrégation, qui garantissent une standardisation et une intégration des données toutes deux appropriées. Cela est particulièrement important lorsque la destination du jeu de données est une base de données relationnelle. Ce type de référentiel de données comporte un schéma défini qui nécessite un alignement, c’est-à-dire une mise en correspondance des colonnes et des types de données, afin de mettre à jour les données existantes avec de nouvelles données. 

Comme leur nom l’indique, les pipelines de données servent de « tuyaux » aux projets de science des données ou aux tableaux de bord de business intelligence. Les données peuvent provenir d’une grande variété d’endroits (API, bases de données SQL et NoSQL, fichiers, etc.) mais malheureusement, ces données ne sont généralement pas prêtes à être utilisées immédiatement. Lors du sourcing, la traçabilité des données est suivie pour documenter la relation entre les données présentes dans diverses applications d’entreprise et informatiques. Il s’agit de déterminer, par exemple, l’endroit où se trouvent actuellement les données et la manière dont elles sont stockées dans un environnement (sur site, dans un data lake ou dans un entrepôt de données).

Les tâches de préparation des données reposent généralement sur les épaules des data scientists ou des ingénieurs de données, qui structurent les données pour répondre aux besoins des cas d’utilisation métier et traitent d’énormes quantités de données. Le type de traitement requis par un pipeline de données est généralement déterminé en associant analyse exploratoire des données et définition des exigences métier. Après avoir été correctement filtrées, fusionnées et synthétisées, les données peuvent être stockées et extraites pour être utilisées. Un pipeline de données bien organisé constitue la base de divers projets axés sur les données, comme l’analyse exploratoire de données, la visualisation de données et les tâches de machine learning. 

Trois étapes principales composent l’architecture d’un pipeline de données. 

1. Ingestion de données : les données sont collectées à partir de diverses sources comme les plateformes SaaS (logiciel à la demande), les appareils connectés (IdO) et les appareils mobiles, et à partir de diverses structures (données structurées et non structurées). Dans le cas des données de streaming, ces sources de données brutes sont généralement appelées producteurs, éditeurs ou expéditeurs. Si les entreprises peuvent choisir d’extraire les données uniquement lorsqu’elles sont prêtes à les traiter, il est préférable de transférer tout d’abord les données brutes auprès d’un fournisseur d’entrepôt de données cloud. Ainsi, si l’entreprise doit apporter des modifications aux tâches de traitement des données, elle peut mettre à jour les données historiques. Au cours de ce processus d’ingestion des données, plusieurs contrôles et vérifications peuvent être effectués pour garantir la cohérence et l’exactitude des données.

2. Transformation des données : au cours de cette étape, une série de tâches est exécutée pour traiter les données dans le format requis par le référentiel de destination. Ces tâches intègrent l’automatisation et la gouvernance des flux de travaux répétitifs tels que le reporting d’entreprise, afin de garantir que les données sont nettoyées et transformées de manière cohérente.  Dans le cas d’un flux de données au format JSON imbriqué, l’étape de transformation des données consistera à dérouler ce fichier JSON pour en extraire les champs clés à des fins d’analyse.

3. Stockage des données : les données transformées sont ensuite stockées dans un référentiel auquel différentes parties prenantes peuvent accéder. Dans le cas des données de streaming, ces données transformées sont généralement appelées consommateurs, abonnés ou destinataires.  

Les termes « pipeline de données » et « pipeline ETL » sont parfois utilisés de manière interchangeable. Il convient toutefois de rappeler que les pipelines ETL représentent une sous-catégorie de pipelines de données. Trois aspects principaux permettent de distinguer ces deux types de pipelines :

• Les pipelines ETL suivent une séquence bien spécifique. Ils extraient les données, les transforment, puis les chargent et les stockent dans un référentiel. Tous les pipelines de données ne suivent pas nécessairement cette séquence. En fait, les pipelines ELT (extraction, chargement, transformation) se sont popularisés avec l'avènement des outils cloud natifs grâce auxquels les données peuvent être générées et stockées sur plusieurs sources et plateformes. Si l’ingestion de données demeure la première étape, avec ce type de pipeline, la transformation intervient une fois les données chargées dans l’entrepôt de données cloud.  
  
  
• Les pipelines ETL impliquent souvent un traitement par lots, mais comme indiqué ci-dessus, la portée des pipelines de données est plus large. Ils peuvent également inclure un traitement des flux. 
  
  
• Enfin, bien que cela soit peu probable, les pipelines de données dans leur ensemble n’exigent pas nécessairement une transformation des données, contrairement aux pipelines ETL. Il est rare qu’un pipeline de données n’ait pas recours aux transformations pour faciliter l’analyse des données.  

Face à l’évolution continue du big data, l’importance de la gestion des données ne cesse de croître. Parmi les diverses fonctions remplies par les pipelines de données, voici celles qui sont destinées aux applications métier :

• Analyse exploratoire des données : les data scientists s’appuient sur l’analyse exploratoire des données (EDA) pour étudier les jeux de données et synthétiser leurs principales caractéristiques, souvent grâce aux méthodes de visualisation. Cela leur permet de déterminer la meilleure façon de manipuler les sources de données pour obtenir les réponses recherchées et facilite la découverte des schémas, la détection des anomalies, le test des hypothèses, ainsi que la vérification des suppositions
  
  
• Visualisation de données : pour représenter les données par le biais de graphiques courants, on peut créer différents types de visualisations de données : diagrammes, tracés, infographies et animations. Ces présentations visuelles informatives illustrent les relations complexes entre les données, ainsi que les analyses axées sur les données d’une manière facile à comprendre.
  
  
• Machine learning : le machine learning est une branche de l’intelligence artificielle (IA) et de l’informatique qui utilise données et algorithmes pour imiter la façon dont les humains apprennent, et améliorer progressivement sa précision. Grâce à des méthodes statistiques, les algorithmes sont entraînés pour effectuer des classifications ou des prédictions et révéler des informations clés dans le cadre des projets d’exploration de données.
  
  
• Observabilité des données : afin de vérifier l’exactitude et la sûreté des données utilisées, la pratique d’observabilité des données associe divers outils de surveillance, de suivi et d’alerte, tant pour les événements attendus que pour les anomalies.