지속적인 dbt 관측성 및 모니터링을 달성하기 위해 IBM Databand 는 원활한 dbt 통합 기능을 제공합니다.
분석 코드를 신속하게 배포하기 위해 dbt Core와 dbt Cloud를 사용하는 팀이 점점 더 많아지고 있습니다. 상호 연결된 데이터 파이프라인이 더욱 복잡해지고 여러 시스템에 분산되면서 dbt 문제가 비즈니스에 영향을 미치기 전에 이를 추적하고 식별하기가 어려울 수 있습니다.
dbt와 IBM Databand의 통합은 작업, 테스트, 모델 전반에 걸쳐 지속적인 관측성을 제공하여 dbt 프로세스 중단 시기 및 이를 신속하게 해결하는 방법을 알 수 있습니다.
Databand 관측성 통합을 통해 실행 시간, 테스트 실패, 모델 이상 징후 등에 대한 선제적 dbt 경고를 수신할 수 있습니다.
모든 dbt 명령의 메타데이터와 근본 원인 분석을 한 곳에서 중앙 집중화하여 엔지니어링 시간을 절약할 수 있습니다.
Databand의 리니지 기능을 활용하면 dbt 모집단 전체에서 어떤 테이블이 영향을 받는지 확인할 수 있습니다.
dbt Core 또는 dbt Cloud 환경 내에서 Databand의 관측성 기능 통합은 다음 방법 중 하나를 사용하여 작동합니다.
1. Databand의 Python SDK를 통해 dbt 추적
Databand의 Python SDK을 사용하여 Apache Airflow와 같은 Python 오케스트레이션 툴을 통해 트리거된 dbt Cloud 작업 또는 dbt Core 명령을 추적합니다.
2. Databand의 dbt 모니터를 사용하여 dbt Cloud 작업 추적
Databand의 dbt Cloud 모니터를 사용하여 dbt Cloud 계정을 직접 모니터링하여 작업을 추적합니다. 이를 통해 Databand는 어떻게 트리거 되었는지에 관계없이 dbt 작업을 추적할 수 있습니다.
데이터밴드의 포괄적인 기능 세트는 dbt 관측성을 단순화하고 중앙 집중화하는 데 도움이 됩니다.
Databand의 강렬한 경고 기능을 활용하여 중요한 문제가 발생하는 즉시 팀에 알립니다. dbt 명령, 개별 모델 또는 테스트의 실패와 같은 인시던트에 대한 경고를 생성하고 명령, 모델 및 테스트의 기간 이상 징후에 대해 보고합니다. 또한 모델의 테이블에 대한 비정상적인 레코드 수를 발견합니다.
Databand는 .sql 및 .yaml 파일 검색을 자동화하여 분석 엔지니어와 분석가가 모델 및 테스트를 위해 SQL에 액세스하고 디버깅하는 방법을 단순화합니다. 이를 통해 테이블 및 스키마 구체화 유형과 같은 주요 정보 식별 프로세스와 테이블 논리를 조사하여 특정 계산이 어떻게 도출되는지 더 잘 이해하는 프로세스를 간소화합니다.
중앙 집중식 콘솔에서 모든 dbt 명령을 볼 수 있으므로 각 dbt 명령의 상태와 기간을 빠르게 검토하여 디버깅 시간을 절약할 수 있습니다. 여기에는 개별 dbt 모델 및 테스트가 포함되어 있어 dbt 오류의 근본 원인을 찾아내고 이를 신속하게 해결할 수 있습니다.