Alors que Baidu lance des services d’IA innovants, les volumes de données montent en flèche. Pour réduire les coûts, accroître l’efficacité et répondre aux exigences de conformité des données, la société a demandé à IBM de remplacer le système hérité de stockage sur disque pour les données froides par une nouvelle solution basée sur des bandothèques IBM® TS4500 et le logiciel IBM Storage Scale.
Des véhicules autonomes à l’IA en passant par l’Internet des objets (IoT), Baidu est à la pointe de l’innovation numérique. En plus de fournir le plus grand moteur de recherche Internet de Chine, la stratégie de l’entreprise comprend la conduite autonome, Baidu AI Cloud, Baidu Netdisk et des plateformes de streaming vidéo.
Miao Yu, responsable senior du service de stockage cloud chez Baidu AI Cloud, explique : « Alors que de plus en plus de secteurs améliorent leurs capacités numériques, notre objectif est de fournir des produits cloud aux clients dans des secteurs tels que le transport, la finance et les organisations gouvernementales. Grâce aux capacités de Baidu AI Cloud en matière de cloud et d’intelligence, nous pouvons aider les entreprises à gagner en rentabilité et à créer de nouvelles sources de valeur. »
Sur la plateforme Baidu, les données augmentent rapidement en volume, en vélocité et en variété. La popularité croissante de Baidu AI Cloud et d’autres offres d’IA de l’entreprise décuple les besoins en stockage. Dans le même temps, l’adoption des solutions proposées par Baidu de type « ville intelligente », « maison intelligente » ou « automatisation des véhicules » augmente fortement, ce qui accroît encore les besoins d’accès aux données en temps réel et de conservation des données à long terme.
« La croissance du volume de nos données ne montre aucun signe de ralentissement », poursuit Miao Yu. « Les derniers véhicules autonomes sont équipés de beaucoup plus de capteurs que leurs prédécesseurs, et la quantité de données générées par véhicule peut atteindre 10 To par jour. De même, en Chine, la croissance rapide du marché des maisons intelligentes et la popularité du streaming en direct génèrent d’énormes quantités de données, ce qui pose des problèmes de stockage. Depuis 2019, nos volumes de données ont plus que triplé, et nous stockons maintenant environ 100 exaoctets de données. »
Jusqu’à récemment, Baidu s’était appuyé sur le stockage sur disque pour la conservation à long terme des données. Malheureusement, chacun des disques a une capacité maximale de 20 To, ce qui limite la densité du stockage, utilise un espace physique conséquent et augmente les coûts. En quête d’une meilleure approche, Baidu recherchait une plateforme de stockage de données froides plus résiliente, plus efficace, plus évolutive et capable de s’adapter à une croissance continue des données.
Plus de 90 % d’économies
Permet d’économiser plus de 90 % de la consommation d’énergie en remplaçant les disques par des bandes magnétiques pour le stockage des données froides
Réduction des coûts de plus de 80 %
Réduction des coûts opérationnels pour les données froides de plus de 80 % par rapport à la plateforme précédente de stockage sur disque
Pour satisfaire des clients qui ont besoin d’une mise à l’échelle illimitée des données, Baidu AI Cloud a engagé des experts d’IBM pour planifier, concevoir, déployer et configurer une architecture de stockage de données froides prête pour l’avenir qui se compose de bandothèques IBM TS4500 et des solutions IBM Storage Scale et IBM Storage Defender.
« Différents types de scénarios d’utilisation des données imposent des exigences différentes sur notre système de stockage », explique Miao Yu. « Par exemple, les charges de travail pour les calculs hautes performances nécessitent un débit élevé et un accès en lecture et en écriture à faible latence. Pour d’autres scénarios d’utilisation, comme le stockage des fichiers journaux générés par nos systèmes de contrôle, nous devons être en mesure de récupérer rapidement les données, même si des années se sont écoulées depuis leur stockage. Alors que nous recherchions une solution de stockage des données froides plus rentable, avec un nombre élevé d’IOPS et une disponibilité 24 heures sur 24 et 7 jours sur 7, c’est IBM a répondu à nos attentes.
La solution d’IBM s’intègre à l’architecture de stockage distribué existante de Baidu AI Cloud. Les bandothèques IBM TS4500 pour le stockage des données froides sont utilisées en combinaison avec nos unités SSD héritées pour les données chaudes et les unités de disque dur pour le stockage chaud. Les données circulent de façon fluide à travers le système de stockage hiérarchisé, ce qui permet un accès à haute performance. De plus, les bandes peuvent être conservées pendant plus de 30 ans pour un coût beaucoup plus faible que celui des disques.
« Nous avons été impressionnés par la solution d’IBM », explique Miao Yu. « Avec IBM Storage Scale, nous pouvons laisser les données circuler librement dans notre environnement tout en simplifiant notre architecture de stockage pour faciliter la gestion et la maintenance. »
Pour s’assurer que la nouvelle plateforme répond aux exigences à long terme de Baidu AI Cloud en matière d’évolutivité, les experts d’IBM ont créé des flux de travaux à déploiement automatisé. Ceux-ci permettent de provisionner 20 nœuds d’archivage froids en un seul lot, ce qui accélère considérablement le déploiement et l’extension.
IBM a également aidé Baidu à mieux adapter et intégrer les données de la solution de stockage sur bande magnétique d’IBM à sa propre plateforme, permettant ainsi à Baidu d’identifier et de résoudre rapidement les problèmes et de mettre en ligne la solution. À ce jour, Baidu a déployé 14 bandothèques IBM TS4500 dans son centre de données de Yangquan, ce qui représente plus de 2 EB de données froides.
Miao Yu explique : « IBM a répondu à tous nos critères de sélection et les a même dépassés. Après une démonstration de faisabilité réussie, nous étions certains que les bandothèques IBM TS4500 combinées aux solutions de stockage d’IBM seraient le moyen idéal pour résoudre les problèmes de coût et d’espace auxquels nous étions confrontés avec le stockage sur disque. IBM étant un partenaire de longue date, nous savions qu’il disposait des services et des innovations techniques dont nous avions besoin pour relever les défis liés au déploiement d’une solution de stockage à grande échelle. »
En remplaçant les disques par des bandes magnétiques, Baidu a atteint et a même dépassé les critères de réussite qu’il avait établis au début de sa refonte du système de stockage des données froides.
« Nous visions à l’origine une fiabilité de 99,999999999 % (« 11 nines » en anglais) et une réduction des coûts d’exploitation d’au moins 50 % par rapport à la solution de stockage sur disque existante, mais la solution de stockage d’IBM a dépassé ces deux objectifs », commente Miao Yu. « La solution de stockage de données froides d’IBM offre une fiabilité de 99,9999999999 % (soit « 12 nines ») et a réduit nos coûts d’exploitation de 80 %, des améliorations qui ont largement dépassé nos attentes.
Avec un stockage sur bande fiable et rentable et une plateforme de données à haute performance qui prend en charge ses charges de travail IA et Big Data, Baidu AI Cloud peut faire face à une croissance rapide des données et étendre ses offres et ses services innovants.
« Nous devons stocker des quantités massives de données sur Baidu AI Cloud – ainsi que sur nos services de recherche, de conduite autonome et autres – pour un maximum de trois ans, et les rendre disponibles pour l’analyse et la conformité à chaque fois que c’est nécessaire. » explique Miao Yu.
« Aujourd’hui, ces données clés et d’autres données peuvent être stockées de manière sûre et rentable sur notre plateforme de stockage des données froides, et elles peuvent être rapidement récupérées à la demande. Les bandes magnétiques constituent une solution efficace car elles consomment très peu d’électricité : 90 % de moins qu’un stockage sur disque équivalent. Ainsi, nous pouvons considérablement réduire notre empreinte environnementale et réduire nos coûts. »
Miao Yu conclut : « La combinaison des bandothèques IBM TS4500 avec IBM Storage Scale et IBM Storage Defender permet à Baidu AI Cloud de réduire les coûts et de s’adapter rapidement à la croissance exponentielle des données. La prochaine étape sera de créer une plateforme unifiée de gestion du stockage sur bande magnétique pour l’ensemble de l’écosystème Baidu, et nous sommes impatients de travailler avec IBM pour libérer tout le potentiel du stockage sur bande dans toute l’organisation. »
Junhua Jiang, chargé de clientèle senior d’Hyperscale Solutions Sales chez IBM, déclare : « Nous sommes impatients de travailler avec Baidu pour enrichir leur architecture de stockage en cloud et créer un service de données global de premier plan pour le groupe Baidu et les clients du secteur. »
Fondé en 2000 et basé à Pékin, en Chine, Baidu, Inc. (lien externe à ibm.com) est un des leader mondiaux de l’IA. Baidu AI Cloud est l’infrastructure de Baidu pour l’ère de l’intelligence artificielle. Avec une pile technologique complète de capacités IA, Baidu AI Cloud permet à des milliers de clients dans de multiples secteurs d’activité de bénéficier de sa technologie et de ses solutions.
Mentions légales
© Copyright IBM Corporation 2023. IBM Corporation, New Orchard Road, Armonk, NY 10504
Produit aux États-Unis, mars 2023.
IBM et le logo IBM sont des marques commerciales ou des marques déposées d’International Business Machines Corporation, aux États-Unis et/ou dans d’autres pays. Les autres noms de produits et de services peuvent être des marques d’IBM ou d’autres sociétés. Une liste à jour des marques IBM est disponible sur ibm.com/trademark.
Les informations contenues dans le présent document étaient à jour à la date de sa publication initiale. Elles peuvent être modifiées sans préavis par IBM. Les offres mentionnées dans le présent document ne sont pas toutes disponibles dans tous les pays où la société IBM est présente.
Toutes les références clients mentionnées ou décrites illustrent la façon dont certains clients ont utilisé les produits IBM et précisent les résultats qu'ils ont pu obtenir. Les chiffres réels en termes de coûts environnementaux et de performances peuvent varier d'un client à l'autre en fonction de la configuration et des conditions de fonctionnement. En général, les résultats attendus ne peuvent pas être garantis, car les résultats de chaque client dépendent entièrement des systèmes du client et des services commandés. LES INFORMATIONS CONTENUES DANS LE PRÉSENT DOCUMENT SONT FOURNIES « EN L'ÉTAT », SANS AUCUNE GARANTIE EXPLICITE OU IMPLICITE, NOTAMMENT SANS AUCUNE GARANTIE DE QUALITÉ MARCHANDE, D'ADÉQUATION À UN USAGE PARTICULIER ET TOUTE GARANTIE OU CONDITION D'ABSENCE DE CONTREFAÇON. Les produits IBM sont garantis conformément aux dispositions des contrats qui régissent leur utilisation.
Toutes les déclarations relatives à l’orientation et aux intentions futures d’IBM sont susceptibles d’être modifiées ou retirées sans préavis et ne représentent que des objectifs.
La capacité de stockage réelle disponible peut être signalée à la fois pour les données non compressées et compressées, peut varier ou être inférieure à celle indiquée.