Pour permettre une observabilité et une surveillance continues de dbt, IBM Databand propose une intégration fluide de dbt.
Les équipes utilisent de plus en plus dbt Core et dbt Cloud pour déployer rapidement du code analytique. Les pipelines de données interconnectés devenant de plus en plus complexes et distribués entre plusieurs systèmes, il peut être difficile de suivre et d’identifier les problèmes de dbt avant qu’ils n’aient un impact sur l’activité de l’entreprise.
L’intégration de dbt à IBM Databand offre une observabilité continue sur vos travaux, tests et modèles pour vous permettre de savoir quand un processus dbt s’interrompt et comment le corriger rapidement.
Avec l’intégration de Databand pour l’observabilité, recevez des alertes proactives de dbt concernant les durées d’exécution, les tests ayant échoué, les anomalies liées aux modèles et plus encore.
Gagnez du temps en centralisant les métadonnées et l’analyse de l’origine des problèmes de toutes vos commandes dbt au même endroit.
En tirant parti des capacités de traçage de Databand, vous êtes en mesure de voir quelles tables sont affectées dans votre population dbt.
L’intégration des capacités d’observabilité de Databand dans les environnements dbt Core ou dbt Cloud s’effectue selon l’une des méthodes suivantes :
1. Suivre dbt avec le SDK Python de Databand
Utilisez le SDK Python de Databand pour suivre les travaux dbt Cloud ou les commandes dbt Core qui ont été déclenchés par un outil d’orchestration Python tel qu’Apache Airflow.
2. Suivre les travaux dbt Cloud à l’aide du moniteur dbt de Databand
Utilisez le moniteur dbt Cloud de Databand pour suivre les travaux en surveillant directement votre compte dbt Cloud. Cela permet à Databand de suivre vos travaux dbt indépendamment de la manière dont ils sont déclenchés.
L’ensemble des capacités de Databand permet de simplifier et de centraliser l’observabilité de dbt.
Tirez parti de la puissance des capacités d’alerte de Databand pour informer vos équipes des problèmes critiques dès qu’ils surviennent. Générez des alertes en cas d’incidents tels que des défaillances de commandes dbt, de modèles individuels ou de tests et rendez compte des durées anormales pour les commandes, les modèles et les tests. En outre, découvrez des nombres anormaux d’enregistrements pour les tables de vos modèles.
Databand automatise la découverte des fichiers .sql et .yaml afin de simplifier la manière dont les ingénieurs analytiques et les analystes accèdent à SQL et le déboguent pour leurs modèles et leurs tests. Il rationalise le processus d’identification des informations clés telles que le type de matérialisation des tables et des schémas, ainsi que l’examen de la logique des tables afin de mieux comprendre comment certains calculs sont obtenus.
Toutes les commandes dbt étant consultables à partir d’une console centralisée, vous gagnez du temps en examinant rapidement l’état et la durée de chaque commande dbt. Cela inclut les modèles et les tests de dbt pour vous permettre d’identifier l’origine des défaillances de dbt et de les résoudre rapidement.