Baidu permite la innovación tecnológica con una plataforma de datos ultraescalable

Desde vehículos autónomos hasta IA e Internet de las cosas (IoT), Baidu está a la vanguardia de la innovación digital. Además de ofrecer el motor de búsqueda de Internet más grande de China, la estrategia de la compañía incluye la conducción autónoma, Baidu AI Cloud, Baidu Netdisk y plataformas de transmisión de video.

Miao Yu, Director del Departamento de Almacenamiento en la Nube de Baidu AI Cloud, explica: "A medida que más sectores mejoran sus capacidades digitales, nuestro objetivo es ofrecer productos en la nube a clientes de sectores como el transporte, las finanzas y la administración pública. A través de la nube y las capacidades de inteligencia de Baidu AI Cloud, podemos ayudar a las empresas a desbloquear la rentabilidad y crear nuevas fuentes de valor."

En la plataforma Baidu, los datos crecen rápidamente en volumen, velocidad y variedad. La creciente popularidad de Baidu AI Cloud y de las ofertas de IA de la empresa ha provocado un aumento masivo de las necesidades de almacenamiento. Al mismo tiempo, la adopción de las soluciones de automatización de vehículos y ciudades inteligentes de Baidu está aumentando considerablemente, lo que aumenta aún más la necesidad de acceso a datos en tiempo real y retención de datos a largo plazo.

"Nuestro crecimiento de datos no muestra ningún signo de ralentización", continúa Miao Yu. "Los últimos vehículos autónomos están equipados con mucho más sensores que sus predecesores y la cantidad de datos generados por vehículo puede ser de hasta 10 TB por día. Del mismo modo, el rápido crecimiento de la categoría de vivienda inteligente y la popularidad generalizada de la transmisión en vivo en China aportan enormes cantidades de datos, lo que conduce a desafíos de almacenamiento. Desde 2019, nuestros volúmenes de datos tienen más que triplicados, y ahora almacenamos aproximadamente 100 exabytes [EB] de datos."

En el pasado, Baidu confiaba en el almacenamiento en disco para la retención de datos a largo plazo. Sin embargo, sus discos tenían una capacidad máxima de 20 TB por unidad, lo que limitaba la densidad de almacenamiento, consumía un valioso espacio y aumentaba los costos. Tras reconocer que este enfoque no era óptimo, Baidu buscó una plataforma de almacenamiento de datos en frío más resistente, eficiente y escalable que pudiera acomodar el crecimiento continuo de los datos.

Para satisfacer las necesidades de sus clientes de escalado de datos ilimitado, Baidu AI Cloud contrató a expertos de IBM para planificar, diseñar, implementar y configurar una arquitectura de almacenamiento de datos en frío preparada para el futuro que consta de IBM® TS4500 Tape Libraries y las soluciones IBM® Storage Scale e IBM® Storage Defender.

"Los distintos tipos de escenarios de uso de los datos plantean exigencias diferentes a nuestro sistema de almacenamiento", explica Miao Yu. "Por ejemplo, las cargas de trabajo informáticas de alto rendimiento requieren un alto rendimiento y un acceso de lectura y escritura de baja latencia. Para otros escenarios de uso, como el almacenamiento de archivos de registro generados por nuestros sistemas de monitorización, debemos poder recuperar datos rápidamente incluso si han pasado años desde que se almacenaron. Buscábamos una solución de almacenamiento en frío con mayor rentabilidad, altas IOPS y disponibilidad las 24 horas del día, los 7 días de la semana, y IBM la cumplió".

La solución IBM se integra con la arquitectura de almacenamiento distribuido existente de Baidu AI Cloud. Las bibliotecas de cintas IBM® TS4500 para almacenamiento de datos fríos se utilizan con unidades de estado sólido heredadas para datos calientes y unidades de disco duro para almacenamiento en caliente. Los datos se mueven perfectamente a través del sistema de almacenamiento por niveles, lo que permite un acceso de alto rendimiento. Además, las cintas se pueden conservar durante más de 30 años a un costo mucho menor que los discos.

"Nos impresionó la solución IBM", dice Miao Yu. "Con IBM® Storage Scale, podemos permitir que los datos fluyan libremente en todo nuestro entorno, mientras que al mismo tiempo simplificamos nuestra arquitectura de almacenamiento para facilitar la gestión y el mantenimiento".

Para garantizar que la nueva plataforma cumpliera con los requisitos de escalabilidad a largo plazo de Baidu AI Cloud, los expertos de IBM crearon flujos de trabajo de implementación automatizados. Esto permite aprovisionar 20 nodos de almacenamiento en frío en un solo lote, lo que acelera significativamente tanto la implementación como la expansión.

IBM también ayudó a Baidu a adaptar e integrar mejor los datos de la solución de almacenamiento en cinta IBM con su propia plataforma, permitiendo a Baidu identificar y resolver rápidamente los problemas y poner la solución en línea. Hasta la fecha, Baidu ha implementado 14 bibliotecas de cintas IBM® TS4500 en su centro de datos de Yangquan, almacenando más de 2 EB de datos fríos.

Miao Yu explica: “IBM cumplió y superó todos nuestros criterios de selección principales, y después de una prueba de concepto exitosa, estábamos seguros de que las bibliotecas de cintas IBM® TS4500 con soluciones de almacenamiento IBM serían la manera perfecta de resolver las presiones de costo y espacio que enfrentamos en torno al disco. almacenamiento. Tenemos una larga y exitosa historia de colaboración con IBM en otros proyectos, y esto nos dio la confianza de que IBM tiene la innovación técnica y los servicios para abordar los desafíos de implementar una solución de almacenamiento a gran escala”.

Al sustituir los discos por cintas, Baidu ha cumplido y superado los criterios de éxito que estableció al inicio de su renovación del almacenamiento en frío.

"Nuestro objetivo inicial era alcanzar 11 nueves de fiabilidad y una reducción de los costes operativos de al menos el 50 % de la anterior solución de almacenamiento en disco, pero la solución de almacenamiento de IBM superó ambos objetivos", comenta Miao Yu. "La solución de almacenamiento de datos en frío de IBM ofrece 12 nueves de fiabilidad y ha reducido nuestros costes operativos en un 80 %, mejoras que han superado con creces nuestras expectativas."

Con un almacenamiento en cinta rentable y fiable y una plataforma de datos de alto rendimiento que respalda sus cargas de trabajo de IA y big data, Baidu AI Cloud puede adaptarse al rápido crecimiento de los datos y ampliar sus ofertas y servicios innovadores.

"Debemos almacenar las cantidades masivas de datos en Baidu AI Cloud, así como en nuestros servicios de búsqueda, conducción autónoma y otros, durante hasta tres años o más, y ponerlos a disposición para su uso analítico y de cumplimiento siempre que sea necesario", explica Miao Yu.

"Hoy en día, estos y otros datos clave se pueden almacenar de forma segura y rentable en nuestra plataforma de almacenamiento en frío y recuperarse rápidamente bajo demanda. La cinta es una solución eficiente porque consume muy poca electricidad: más de un 90 % menos que un almacenamiento en disco equivalente. De este modo, podemos reducir significativamente nuestra huella medioambiental y ahorrar costes”.

Miao Yu concluye: "La combinación de bibliotecas de cintas IBM® TS4500 con IBM® Storage Scale e IBM® Storage Defender permite a Baidu AI Cloud reducir costes y escalar rápidamente para adaptarse al crecimiento explosivo de los datos. A continuación, planeamos crear una plataforma unificada de gestión de almacenamiento en cinta para todo Baidu, y esperamos trabajar con IBM para liberar todo el potencial del almacenamiento en cinta en toda la organización".

Junhua Jiang, gerente de cuentas sénior de ventas de Hyperscale Solutions en IBM, dice: "Esperamos trabajar con Baidu para enriquecer su arquitectura de almacenamiento en la nube y crear un servicio de datos global líder para Baidu Group y clientes del sector".

Fundada en 2000 y con sede en Pekín, China, Baidu, Inc. (enlace externo a ibm.com) es una empresa líder en IA. Baidu AI Cloud es la infraestructura de Baidu para la era inteligente. Con una pila completa de capacidades tecnológicas de IA, Baidu AI Cloud empodera a miles de clientes en múltiples industrias con su tecnología avanzada y soluciones integrales.