Qu'est-ce que le stockage d'objets ?

Les données de communication numériques d’aujourd’hui sont en grande partie non structurées, donc inadaptées aux bases de données relationnelles classiques, composées de lignes et de colonnes. Parmi les exemples, citons les e-mails, les vidéos, les photos, les pages Web, les fichiers audio, les données de capteurs, ainsi que d’autres types de fichiers multimédias et des contenu Web (textuels ou non textuels).

Tous ces contenus sont diffusés en continu par les réseaux sociaux, les moteurs de recherche, les téléphones mobiles et les appareils intelligents. Par exemple, les services de streaming comme Netflix s’appuient sur le stockage d’objets pour conserver et diffuser leurs vastes bibliothèques de films et d'émissions auprès des utilisateurs du monde entier, qui y accèdent instantanément, quels que soient leurs appareils et leur emplacement.

Avec une solution de stockage d’objets, vous pouvez stocker et gérer des téraoctets (To) ou des pétaoctets (Po) de données, voire plus, à savoir les déploiements à l’échelle de l’exaoctet qui alimentent les plus grandes plateformes cloud et les applications à forte intensité de données d’aujourd’hui.

Aujourd’hui, stocker et gérer efficacement d’immenses volumes de données sans se ruiner constitue un défi permanent pour les entreprises. Robuste, le stockage d’objets permet de répondre aux besoins actuels en matière de stockage de données, car contrairement au stockage traditionnel par fichiers ou blocs, son évolutivité est quasi illimitée.

Une étude menée par DataIntelo estime le marché mondial du stockage d’objets à environ 6,8 milliards de dollars USD en 2023. Selon cette même étude, il devrait s’élever à près de 25 milliards de dollars d’ici 2032, soit un taux de croissance annuel composé (TCAC) de 15,7 %.¹ Cette croissance reflète le besoin toujours plus important de gérer les données non structurées, l’adoption accélérée du cloud et la dépendance croissante à l’égard de l’analytique big data.

Le stockage d’objets a considérablement évolué depuis son apparition au début des années 2000. Parmi les étapes clés, citons le lancement de S3 par Amazon en 2006, qui a établi le standard de facto en matière d’interfaces de programmation d’application (API) pour le stockage d’objets. Étape suivie par l’émergence de solutions open source comme OpenStack Swift en 2010, et l’essor du cloud hybride au milieu des années 2010.

Initialement développé pour des applications Web, le stockage d’objets fait désormais partie intégrante du cloud computing et des environnements conteneurisés. Aujourd’hui, il prend en charge des fonctionnalités avancées telles que la hiérarchisation intelligente des données, les capacités de gestion des versions et l’intégration avec Kubernetes et d’autres plateformes qui automatisent l’orchestration des conteneurs. Parmi les innovations récentes, citons la gestion des données pilotée par l’IA, où les algorithmes de machine learning (ML) permettent d’optimiser le coût et la performance du stockage, et les capacités de stockage d’objets edge, qui rapprochent les données de leur lieu de consommation.

Alors que le stockage d’objets gagnait du terrain dans les environnements cloud natifs, de nombreuses entreprises remettaient en question leur dépendance à l’égard des architectures de stockage traditionnelles.

Jusque-là, les entreprises s’appuyaient sur une option onéreuse, le SAN (storage area network), pour gérer leurs volumes croissants de données, ce qui impliquait des investissements importants en matériel et infrastructure informatique. Au fur et à mesure que les besoins en données augmentaient, cette approche s’avérait de moins en moins viable. Plus flexibles, les services de stockage cloud permettaient aux entreprises d’augmenter ou de réduire la capacité selon leurs besoins.

Au lieu de gérer de grands réseaux de stockage en interne, les entreprises peuvent désormais opter pour le stockage à la demande (STaaS) afin de réduire leurs coûts tout en alliant rapidité et évolutivité. Les principaux fournisseurs de service cloud public, notamment Amazon Web Services (AWS), Google Cloud, IBM® Cloud et Microsoft Azure, proposent des fonctionnalités de stockage d’objets. Cette évolution a permis les approches multicloud hybrides, qui consistent pour les entreprises à allier stratégiquement stockage sur site et fournisseurs de cloud multiples pour optimiser leur performance, réduire leurs coûts et assurer leur conformité.

Le stockage cloud englobe diverses architectures, notamment le stockage de fichiers, le stockage par blocs et le stockage d’objets. Chacune propose son approche en matière de gestion des données et d’accessibilité. Les entreprises modernes utilisent diverses architectures de stockage, selon leurs besoins et leurs types de données.

Alors que les données structurées et les workloads transactionnelles s’appuient généralement sur un stockage traditionnel sous forme de fichiers ou par blocs, l’essor du contenu numérique non structuré a rendu le stockage d’objets essentiel au paysage des données actuel. Comprendre ces trois méthodes de stockage vous aidera à choisir celle qui convient le mieux à vos besoins.

Voici les différences entre stockage d’objets, stockage de fichiers et stockage par blocs.

Avec le stockage de fichiers, les données sont organisées et stockées dans un dossier. Les fichiers sont nommés, étiquetés à l’aide de métadonnées (généralement le nom du fichier, le type de fichier, la date de création et de dernière mise à jour), et organisés dans des dossiers sous une hiérarchie de répertoires et de sous-répertoires.

Voyez le stockage de fichiers comme un archivage de fichiers papier dans un classeur physique. Il y a plusieurs tiroirs (répertoires) et des dossiers de fichiers étiquetés dans chaque tiroir (sous-répertoires).

Pour localiser un dossier particulier dans votre classeur, vous devez ouvrir le tiroir approprié et consulter les étiquettes des dossiers. De même, pour accéder aux données d'un système de stockage de fichiers, votre système informatique n'a besoin que du chemin d'accès (répertoires et sous-répertoires) dans lequel elles se trouvent.

Un tel système de stockage hiérarchique fonctionne bien avec des volumes de données relativement faibles et faciles à organiser. Cependant, à mesure que le nombre de fichiers augmente, le processus de recherche et de récupération peut devenir fastidieux et chronophage.

Le stockage en blocs offre une alternative au stockage basé sur des fichiers avec une efficacité et des performances améliorées. Le stockage en blocs décompose un fichier en blocs de données de taille égale et stocke ces blocs de données séparément sous une adresse unique. Vous n'avez pas besoin d'une structure de dossiers-fichiers. En revanche, vous pouvez stocker la collection de blocs n'importe où dans le système pour une efficacité maximale.

Pour accéder à un fichier, le système d'exploitation d'un serveur utilise l'adresse unique pour rassembler les blocs dans le fichier. Vous gagnerez en efficacité car le système n'a pas besoin de parcourir les répertoires et les hiérarchies de fichiers pour accéder aux blocs de données. Le stockage en blocs fonctionne bien pour les applications métier critiques, les bases de données transactionnelles et les machines virtuelles qui nécessitent une faible latence, un accès granulaire ou plus détaillé aux données et des performances élevées et constantes.

Au lieu de diviser les fichiers en blocs ou de les organiser en dossiers hiérarchiques, le stockage d’objets traite chaque donnée comme une unité discrète et facile à gérer. Contrairement aux systèmes de fichiers, qui reposent sur des structures de répertoire, et au stockage par blocs, qui fragmente les données, le stockage d’objets préserve l’intégrité des données dans chaque unité de stockage.

Le stockage d’objets est une option rentable et extrêmement évolutive pour vos données non structurées, qui dépasse largement les limites effectives des solutions de stockage par blocs et fichiers. Il est parfait pour archiver des données statiques telles que les dossiers de conformité, les bibliothèques multimédias et les données de sauvegarde qui n’ont pas besoin d’être souvent modifiées.

Les objets sont des unités de données discrètes, stockées dans un environnement de données structurellement plat, typique des systèmes de stockage d’objets. Contrairement aux systèmes de fichiers traditionnels, il n’y a pas de véritables dossiers, annuaires ni de hiérarchies complexes, même si les structures de type dossier peuvent être simulées grâce aux conventions de nommage.

Chaque objet est une unité autonome qui comprend les données, les métadonnées associées (informations descriptives sur l’objet) et un identifiant unique, souvent appelé « clé d’objet ». Cet identifiant unique distingue l’objet au sein du système de stockage et peut ressembler à un chemin d’accès à un fichier, alors qu’il ne représente pas une structure de répertoire à proprement parler.

Ces informations permettent à une application de localiser et d'accéder à l'objet. Vous pouvez regrouper des unités de stockage d'objets dans des pools de stockage plus grands et distribuer ces pools sur plusieurs sites. Cette fonctionnalité permet une évolutivité illimitée et de meilleures résilience des données et reprise après sinistre.

Le stockage d’objets élimine la complexité et les problèmes d’évolutivité liés aux systèmes de fichiers hiérarchiques. Les objets peuvent être stockés localement (centres de données sur site, serveurs cloud ou environnements hybrides et multicloud), et sont accessibles partout dans le monde. Les déploiements modernes associent souvent orchestration des conteneurs et infrastructure distribuée pour gérer les systèmes sous-jacents aux solutions de stockage d’objets.

Les objets (chacun composé de données, de métadonnées et d’un identifiant unique) sont accessibles au sein d’un système de stockage d’objets grâce aux API. L’API native du stockage d’objets est généralement une API RESTful basée sur HTTP (également appelée « service Web RESTful »). La plupart des fournisseurs proposent également des kits de développement logiciel (SDK) qui simplifient l’interaction avec ces API dans différents langages de programmation.

Ces API utilisent l’identifiant (ou clé) unique de l’objet pour le récupérer et permettent également d’interroger ses métadonnées. Comme les API sont basées sur Internet, les objets sont accessibles partout, sur tout appareil disposant d’une connectivité réseau.

Les API RESTful utilisent des commandes HTTP comme « PUT » ou « POST » pour télécharger l’objet, « GET » pour le récupérer et « DELETE » pour le supprimer. (HTTP, sigle de « Hypertext Transfer Protocol » est l’ensemble de règles que l’on applique au transfert de textes, d’images, de son, de vidéo et d’autres fichiers multimédias sur Internet.)

Vous pouvez stocker autant de fichiers statiques que vous le souhaitez sur une instance de stockage d'objets à appeler par une API. De nouvelles normes API RESTful émergent et vont au-delà de la création, de la récupération, de la mise à jour et de la suppression d'objets. Elles permettent aux applications de gérer le stockage d'objets, ses conteneurs, ses comptes, sa multi-location, sa sécurité, sa facturation, etc.

Supposons par exemple que vous souhaitiez stocker tous les livres d'un grand système de bibliothèque sur une seule plateforme. Vous devrez stocker le contenu des livres (données), mais également les informations associées telles que l'auteur, la date de publication, l'éditeur, le sujet, les droits d'auteur et d'autres détails. Vous pouvez stocker toutes ces données et métadonnées dans une base de données relationnelle, organisée dans des dossiers sous une hiérarchie de répertoires et de sous-répertoires.

Mais face à des millions de livres, le processus de recherche et de récupération devient fastidieux et chronophage. Un système de stockage d’objets conviendra car les données sont statiques ou fixes. Dans cet exemple, le contenu du livre ne changera pas.

Les objets sont stockés en tant que « packages » dans une structure à plat et facilement localisés et récupérés avec un seul appel API. De plus, à mesure que le nombre de livres continue d'augmenter, vous pouvez agréger des unités de stockage dans de plus grands pools de stockage et distribuer ces pools pour une évolutivité illimitée.

Vous pouvez utiliser de simples appels d’API pour télécharger et récupérer les fichiers dans un système de stockage d’objets, mais une application a également besoin des métadonnées de l’objet pour localiser l’objet dans le stockage. C’est là que la base de données de stockage d’objets entre en jeu. Elle fournit un annuaire qui s’appuie sur les métadonnées de l’objet pour localiser les fichiers de données correspondants dans un système de stockage distribué.

Chaque groupe de stockage d’objets possède une base de données de stockage d’objets qui contient deux tables :

• Table d’annuaire d’objets

• Table de stockage d’objets

La table du répertoire d’objets contient des informations descriptives concernant chaque objet (les métadonnées). Ce répertoire conserve le suivi de tous les objets dans la hiérarchie de stockage en enregistrant l'identifiant du nom de la collection, le nom de l'objet et d'autres informations pertinentes. Par exemple, dans la méthodologie de stockage d'objets courante, la table du répertoire d'objets comprend trois index :

• L'horodatage de création de l'objet

• L’identifiant du nom de la collection (ID du nom) et l’horodatage de création de l’objet

• Le nom de l’objet et l'identifiant du nom de la collection

La table de stockage d’objets contient les données ou le fichier même (les objets). Les données (contenus numériques fixes tels que les fichiers vidéo et image ou les bibliothèques volumineuses de documents) sont stockées dans le magasin d’objets. Parallèlement, les métadonnées (informations contextuelles sur les données, notamment l’ID du nom) sont stockées dans une base de données ou dans une table d’annuaire d’objets.

Lorsqu'une application « publie » un fichier, elle crée les métadonnées et les stocke dans la table du répertoire d'objets de la base de données de stockage d'objets, tout en « plaçant » le fichier dans la table de stockage d'objets. Pour récupérer le fichier ultérieurement, l'application interroge le répertoire/la base de données de l'objet pour accéder aux métadonnées et utilise ces informations descriptives et d'identification pour localiser ou « obtenir » les données.

Les technologies open source associent flexibilité et contrôle sur les options de gestion et de stockage des données. Elles peuvent être utilisées comme alternatives, ou être intégrées aux solutions propriétaires proposées par les fournisseurs de services cloud ou autres.

Grâce aux outils open source et à l’accès aux API ouvertes, vous pouvez personnaliser le code pour l’adapter aux besoins spécifiques de votre entreprise, tout en conservant sa compatibilité avec les systèmes propriétaires existants. Cette approche vous offre la liberté d’utiliser votre propre matériel, ou de combiner le matériel provenant de différents fournisseurs, tout en bénéficiant des contributions de la communauté de développeurs.

Les principales solutions de stockage d’objets open source respectent le protocole de stockage d’objets Simple Storage Service (Amazon S3) d’Amazon. Lancé en 2006, ce dernier est désormais le standard de facto en matière d’API de stockage cloud.

Les solutions open source les plus utilisées sont Ceph, MinIO et OpenStack Swift. Si ces solutions proposent différentes fonctionnalités, options en matière de politiques et méthodes, elles servent toutes le même objectif : permettre le stockage à grande échelle de données numériques non structurées, avec des API RESTful compatibles S3.

Beaucoup proposent également leur propre API comme alternative à S3. OpenStack Swift, par exemple, prend en charge l’API S3 d’Amazon, mais propose également sa propre API Swift, dotée de fonctionnalités uniques. Ceph Object Storage est compatible avec S3, mais prend également en charge un large sous-ensemble de l’API OpenStack Swift, ce qui garantit une interaction flexible des applications avec le système de stockage.

• Évolutivité : l'évolutivité illimitée est peut-être l'avantage principal du stockage de données basé sur les objets. Les objets, ou unités de données discrètes (quelle que soit leur quantité), sont stockés dans une structure d'environnement de données à plat, sur une unité de stockage tel qu'un serveur. Il vous suffit d'ajouter d'autres unités/serveurs parallèlement à un cluster de stockage d'objets permettant un traitement supplémentaire et la prise en charge de débits plus élevés requis par les fichiers volumineux tels que les vidéos ou les images.

• Complexité réduite : le stockage d'objets élimine la complexité associée à un système hiérarchique de fichiers contenant des dossiers et des répertoires. Les risques de retard de performance sont moindres et vous gagnerez en efficacité lors de la récupération des données, car il n'y a ni dossiers, ni répertoires, ni hiérarchies complexes à parcourir. Cette capacité améliore les performances, notamment lors de la gestion de très grandes quantités de données.

• Haute disponibilité et durabilité : les systèmes de stockage d’objets peuvent être configurés pour répliquer les données sur plusieurs nœuds ou clusters. En cas de défaillance d’un disque ou d’un nœud, le système continue de fonctionner sans perte de données grâce à cette redondance. La réplication des données peut avoir lieu dans le même centre de données, ou sur des sites géographiquement distribués, afin de garantir haute disponibilité et reprise après sinistre hors site.

• Facilité de recherche : chaque objet est un référentiel autonome qui comprend des métadonnées ou des informations descriptives qui lui sont associées. Ces métadonnées facilitent la recherche au moyen d’attributs spécifiques ou d’étiquettes personnalisées qui permettent de localiser et de récupérer les objets. Outre leur utilisation dans les stratégies de gestion du cycle de vie des données et de protection de ces dernières, les métadonnées peuvent être personnalisées pour ajouter du contexte et permettre la recherche avancée, le filtrage et l’analyse afin d’obtenir des informations sur les tendances du marché et plus encore.

• Rentabilité : les fournisseurs de services de stockage d’objets proposent généralement une tarification à l’utilisation, ce qui permet aux entreprises d’éviter les grosses dépenses en capital. Les coûts correspondent à l’utilisation réelle : volume de stockage, récupération des données, bande passante et requêtes API. La tarification est échelonnée ou basée sur le volume, avec plusieurs catégories et niveaux de stockage, afin de réduire les coûts liés aux données rarement consultées ou aux gros volumes. De nombreuses solutions de stockage d’objets sont compatibles avec le matériel classique, indépendant du fournisseur, ce qui élimine la nécessité de se doter d’une infrastructure nouvelle ou propriétaire. Cette flexibilité permet aux entreprises d’utiliser les serveurs dont elles disposent déjà et d’assurer la mise à l’échelle sans se ruiner.

• Sécurité : le stockage d’objets offre des fonctionnalités de sécurité complètes (par exemple, le chiffrement au repos et en transit), ainsi que des contrôles d’accès efficaces grâce aux politiques IAM. Bon nombre de solutions associent également authentification à étapes, capacités de prévention des pertes de données (DLP) et intégration avec les outils de sécurité conçus pour assurer surveillance centralisée et détection des menaces en entreprise.

• Compatibilité avec le cloud : le stockage d’objets est étroitement lié aux environnements cloud ou hébergés qui permettent un stockage multilocataire à la demande. Plusieurs entreprises ou services au sein d’une même entreprise peuvent donc partager le même référentiel de stockage, au sein duquel chacun dispose de son propre espace. Cette approche de stockage partagé optimise intrinsèquement la mise à l’échelle et les coûts. En optant pour un stockage cloud à faible coût, vous pouvez réduire votre infrastructure informatique sur site tout en gardant vos données accessibles en cas de besoin. Votre entreprise, par exemple, peut utiliser une solution de stockage d’objets cloud pour collecter et stocker de grandes quantités de données mobiles et IdO (Internet des objets) non structurées pour vos applications intelligentes.