Qaish Kanchwala es un director de ingeniería de aprendizaje automático (ML) en The Weather Company. Está a cargo de un equipo de ocho ingenieros, incluidos ingenieros de DevOps, ML y datos. Son responsables de crear y entrenar los modelos de ML empleados en la producción de The Weather Company. La mayoría de sus responsabilidades implican diseñar soluciones para el equipo de ingeniería y cerciorarse de que el trabajo se haga a tiempo.
The Weather Company ha progresado para ser una organización que da prioridad a los datos. Para el equipo de Kanchwala, esto significa trabajar con datos sobre casos de uso de ML para publicidad de clientes, personalización y predicciones de condiciones de salud. Dado que el estado futuro de la publicidad ya no depende de las cookies ni de otros identificadores, su equipo emplea datos para predecir segmentos de usuarios. Estos segmentos de usuarios se emplean para diversas campañas publicitarias.
La precisión de estos segmentos de usuarios puede tener un impacto en la generación de ingresos, por lo que es fundamental que Kanchwala y su equipo empleen los datos más precisos, optimizados para estas campañas. Por ejemplo, una menor precisión en los modelos podría dar como resultado una campaña publicitaria que subindexa al segmento al que el cliente pretende llegar o que no llega al segmento de audiencia previsto.
Dado que emplean canalizaciones de datos, como Apache Airflow y Sagemaker, para hacer estas predicciones del modelo, las canalizaciones deben ser confiables y los datos deben ser precisos.
“Desde nuestra perspectiva, muchas decisiones comerciales se toman en función de los segmentos y las predicciones que hacemos”, dice Kanchwala. “A medida que construimos estos segmentos, nos esforzamos por garantizar que los datos que se ingresan en los canales de predicción sean precisos para que las predicciones que salen de esos canales sean precisas. Cualquier pérdida de precisión aquí podría afectar las decisiones comerciales o los resultados finales de alguien”.
Al igual que para la mayoría de los equipos de ingeniería de datos y ML, fue un desafío hacer un seguimiento del rendimiento del modelo a lo largo del tiempo e ingresar alertas proactivas para recibir notificaciones cuando se produzcan cambios. Si su equipo no está al tanto de los problemas de datos, entonces un cliente podría estar tomando decisiones mediante predicciones basadas en datos obsoletos o menos relevantes.
Estos desafíos llevaron a The Weather Company a implementar el software IBM® Databand como su solución de observabilidad de los datos. Databand ayuda a la empresa a resolver proactivamente los problemas de datos antes de que puedan afectar al negocio.
Antes de Databand, el equipo de Kanchwala carecía de una herramienta de supervisión completa para seguir la deriva de los datos a lo largo del tiempo. El limitado número de alertas e informes de que disponían exigía mucha intervención manual.
“Hemos analizado el uso de otras herramientas, pero al final del día no encajaban en nuestro proceso de ingeniería de datos para el linaje”, dice Kanchwala. “Otras herramientas pueden ser excelentes para el monitoreo de aplicaciones o memoria, pero no para pipelines de datos”.
El equipo emplea las capacidades de monitoreo de datos "siempre activos" de Databand para rastrear la desviación de datos con el tiempo para sus características de ML y resultados de modelos. Desde una perspectiva de ingeniería de datos, Databand muestra el linaje del pipeline de datos y el análisis de impacto durante el tiempo de ejecución.
Haga clic aquí
Desde que usaron Databand, el equipo de ingeniería de datos y ML mejoró su linaje de datos y el seguimiento de SLA.
“Sin una visión operativa, como la de Databand, sería extremadamente difícil comprender el estado general de nuestros pipelines de ML”, afirma Kanchwala. “La integración del seguimiento de disponibilidad y las métricas agregadas de Airflow fue muy útil. Aprecio mirar Databand y ver los datos de Airflow en un solo panel”.
En general, The Weather Company ha mejorado sus KPI de ingeniería de datos con:
- Visibilidad y transparencia continuas: la vista operativa de Databand muestra instantáneamente el estado de sus pipelines de Apache Airflow y Sagemaker.
- Alertas de SLA mejoradas y seguimiento de métricas: The Weather Company implementó Databand como una "puerta de calidad" antes de impulsar cambios en la producción. Esto obliga a los ingenieros de datos y ML a realizar un control de calidad obligatorio en el desarrollo antes de pasar a la producción.
- Monitoreo de la calidad de los datos: dado que Databand se integra con cualquier entorno de Apache Airflow, los ingenieros de datos pueden ver exactamente qué paso causa un incidente de datos y resolverlo más rápido.
Haga clic aquí
The Weather Company es la empresa líder del pronóstico del tiempo1, que ayuda a las personas y a las empresas a tomar decisiones mejor fundamentadas, así como a tomar medidas ante el clima. Las soluciones de datos meteorológicos, insights, publicidad y medios de comunicación de gran volumen de The Weather Company en el sitio web abierto ayudan a las personas, las empresas y las marcas de todo el mundo a prepararse y aprovechar el poder del clima de una manera escalable y orientada a la privacidad.
1 Según Comscore, The Weather Channel fue el mayor proveedor de pronósticos meteorológicos en todo el mundo (sitio web y aplicación) en 2022 con base en el promedio del total de visitantes únicos mensuales. Comscore Media Metrix®, Worldwide Rollup Media Trend, Noticias/Información - Categoría meteorológica, incl. The [M] Weather Channel, The, enero-diciembre. promedio 2022
Legal
© Copyright IBM Corporation 2023. IBM Corporation, New Orchard Road, Armonk, NY 10504
Producido en los Estados Unidos de América, diciembre de 2023.
IBM, el logotipo de IBM, ibm.com y Databand son marcas comerciales o registradas de International Business Corporation, en Estados Unidos o en otros países. Es posible que otros nombres de productos y servicios sean marcas registradas de IBM o de otras empresas. Una lista actual de las marcas registradas de IBM está disponible en ibm.com/legal/copyright-trademark.
Autobrand®, Cloud and Rainbow™ device, Icebreaker Studios®, Social®and device, The Lift™, The Weather Company®, The Weather Company®and device, The Weather Underground®, TWC®, Weather Bonk®, Weather Exchange®, Weather FX and device™, Weather Means Business®, Weather Quickie®, Weather Underground®, Weather.com®, WeatherFX®, WU®, WU® and device, Wunderground™, Wunderground.com®, Wundermap® y Wunderradio® son marcas comerciales o marcas registradas de TWC Product and Technology, LLC, una empresa de IBM.
Este documento está vigente a partir de la fecha inicial de publicación, pero IBM puede modificarlo en cualquier momento. No todas las ofertas están disponibles en todos los países en los que opera IBM.
Todos los ejemplos de clientes citados o descritos se presentan como ilustraciones de la manera en que han utilizado los productos de IBM y los resultados que pueden haber logrado. Los costos ambientales reales y las características de rendimiento variarán según las configuraciones y condiciones individuales de cada cliente. No es posible garantizar resultados esperados, puesto que los resultados de cada cliente dependerán por completo de los sistemas y servicios solicitados por este. LA INFORMACIÓN CONTENIDA EN ESTE DOCUMENTO SE PROPORCIONA "EN EL ESTADO EN QUE SE ENCUENTRA", SIN NINGUNA GARANTÍA EXPRESA O IMPLÍCITA, YA SEA DE COMERCIABILIDAD O IDONEIDAD PARA UN FIN DETERMINADO, O CUALQUIER GARANTÍA O CONDICIÓN DE NO INFRACCIÓN. Los productos IBM están garantizados de acuerdo con los términos y condiciones de los contratos en virtud de los cuales se suministran. [