대부분의 조직은 조직이 가진 데이터를 신뢰할 수 없다고 생각합니다.

• 조직의 82%는 데이터 품질 문제가 데이터 통합 프로젝트의 장애물이라고 말합니다.¹
• 80%의 경영진이 데이터를 신뢰하지 않음²

이와 같은 불량 데이터의 영향은 과소평가될 수 없습니다. 2022년 5월, Unity Software는 대형 고객으로부터 불량 데이터를 수집했다는 사실을 발견했고, 이로 인해 회사의 주식이 30% 급락했고,³ 결국 1억 1천만 달러의 매출 손실이 발생했습니다.⁴

예전에는 데이터의 품질이 불량하다는 사실을 발견했을 때는 너무 늦은 경우가 많았습니다. 애플리케이션이 다운되면 수천 명의 사용자에게 즉시 영향을 미치지만, 이와 달리 기업은 자신도 모르는 사이 꽤 오랜 시간 동안 품질이 나쁜 데이터로 운영될 수 있습니다. 예를 들어 영업 팀은 Salesforce 대시보드가 로드되지 않는 경우 즉시 알 수 있지만, 대시보드에 잘못된 데이터가 표시되고 있음을 파악하는 데 얼마나 오래 걸릴지 알 수 없습니다.

데이터 관측성은 불량 데이터의 유입을 막는 최선의 방어책입니다. 데이터 파이프라인을 모니터링하여 완전하고 정확하며 시기적절한 데이터 전송을 보장함으로써 데이터 팀이 데이터 다운타임을 방지하고 데이터 SLA를 충족하며 데이터에 대한 비즈니스의 신뢰를 유지할 수 있도록 합니다.

최신 데이터 시스템은 사용자가 다양한 방식으로 데이터를 저장하고 쿼리할 수 있는 기능을 제공합니다. 물론 더 많은 기능을 추가할수록 시스템이 올바르게 작동하도록 하는 것은 더 복잡해집니다. 이러한 복잡성에는 다음이 포함됩니다.

더 많은 외부 데이터 소스

과거에는 데이터 인프라가 소량의 데이터(일반적으로 몇 가지 내부 데이터 소스의 운영 데이터)를 처리하도록 구축되어 데이터의 변화가 크지 않을 것으로 예상했습니다. 현재는 수많은 데이터 제품이 내부 및 외부 소스의 데이터에 의존하고 있으며, 이러한 데이터가 수집되는 엄청난 양과 속도로 인해 예기치 않은 드리프트, 스키마 변경, 변환 및 지연이 발생할 수 있습니다.

더 복잡한 변환

외부 데이터 소스에서 수집되는 데이터가 많아지면 모든 데이터를 다른 모든 형식으로 변환, 구조화 및 집계하여 모두 사용할 수 있게 만들어야 합니다. 더 큰 문제는 이러한 형식이 전혀 변경되면 엄격하게 코딩된 로직이 새로운 스키마에 적응하지 못하여 다운스트림에 장애가 발생하는 도미노 현상이 발생한다는 것입니다..

분석 엔지니어링에 지나치게 집중

복잡한 수집 파이프라인으로 인해 이 엔드투엔드 프로세스를 간소화하는 툴 시장이 형성되었으며, 대부분 수집 및 추출, 변환, 로드(ETL)/추출, 로드, 변환(ELT) 프로세스를 자동화합니다. 이 두 가지를 결합하면 분석 업계에서 '모던 데이터 스택' 또는 MDS라고 부르는 데이터 플랫폼이 탄생합니다. MDS의 목표는 데이터를 최종 사용자(일반적으로 분석가)가 사용할 수 있게 만드는 데 걸리는 시간을 줄여 데이터를 더 빨리 활용할 수 있도록 하는 것입니다. 하지만 자동화 수준이 높아질수록 데이터 전달 방식에 대한 통제력이 떨어집니다. 이러한 조직은 데이터가 예상대로 전달되도록 하기 위해 사용자 지정 데이터 파이프라인을 구축해야 합니다.

데이터 운영(DataOps)은 기업이 제품을 보다 효율적으로 만들고 유지 관리할 수 있도록 민첩한 제공 파이프라인과 피드백 루프를 지원하는 워크플로입니다. DataOps를 사용하면 기업은 프로토타이핑부터 제품 배포에 이르기까지 분석 프로젝트의 모든 단계에서 동일한 툴과 전략을 사용할 수 있습니다.

DataOps 주기는 DataOps 워크플로 내에서 데이터 관리를 개선하는 데 필요한 기본적인 활동을 간략하게 설명합니다. 이 주기는 탐지, 인식 및 반복의 세 단계로 구성됩니다.

탐지

DataOps 운동의 기반이 데이터 품질 이니셔티브를 기반으로 하므로, 탐지에서부터 이 주기를 시작하는 것이 중요합니다. 

DataOps 주기의 첫 번째 단계는 검증에 중점을 둡니다. 여기에는 데이터 웨어하우스 초기부터 사용된 것과 동일한 데이터 품질 검사가 포함됩니다. 이 검사는 열 스키마와 행 수준 유효성 검사를 검토합니다. 기본적으로 모든 데이터 세트가 데이터 시스템의 비즈니스 규칙을 준수하는지 확인하는 것입니다.

탐지 단계에 있는 이 데이터 품질 프레임워크는 중요하지만 본질적으로 반작용적입니다. 이를 통해 데이터 레이크 또는 데이터 웨어하우스에 이미 저장되어 있고 이미 활용되고 있는 데이터가 원하는 형태인지 여부를 알 수 있습니다.

또한 데이터 세트를 검증하고 알고 있는 비즈니스 규칙을 따르고 있는지 확인하는 것도 중요합니다. 문제의 원인을 모르면 엔지니어가 따라야 할 새로운 비즈니스 규칙을 설정할 수 없습니다. 이러한 인식은 소스 데이터부터 시작하여 데이터 수명 주기의 모든 단계에 직접 연결되는 지속적인 데이터 관측성에 대한 수요를 촉진합니다.

인식

인식은 DataOps 단계의 관측성에 중점을 둔 단계입니다. 여기에서 데이터 거버넌스에 대한 대화가 시작되고 메타데이터 우선 접근 방식이 소개됩니다. 데이터 에코시스템 전반에서 파이프라인과 데이터 세트 메타데이터를 중앙 집중화하고 표준화하면 팀에서 전체 조직 내의 문제를 파악할 수 있습니다.

메타데이터의 중앙 집중화는 조직이 데이터의 엔드투엔드 상태를 파악하는 데 매우 중요합니다. 여기에서 데이터 거버넌스에 대한 대화가 시작되고 메타데이터 우선 접근 방식이 소개됩니다. '도메인'에 불량 데이터가 유입되는 경우, 데이터 시스템의 특정 지점 업스트림까지 오류를 추적할 수 있습니다. 예를 들어, 이제 데이터 엔지니어링 팀 A이 데이터 엔지니어링 팀 B의 파이프라인을 확인해 무슨 일이 일어나고 있는지 파악한 후 문제를 해결하기 위해 협업할 수 있습니다.

그 반대의 경우도 마찬가지입니다. 데이터 엔지니어링 팀 B는 문제를 감지하고 다운스트림 종속성에 어떤 영향을 미칠지 추적할 수 있습니다. 즉, 데이터 엔지니어링 팀 A는 문제가 발생할 것을 알고 이를 억제하기 위해 필요한 모든 조치를 취할 수 있습니다.

이터레이션

여기서 팀은 코드형 데이터에 중점을 둡니다. 주기의 이 단계는 프로세스 중심입니다. 팀은 모든 데이터 개발에 적용될 반복 가능하고 지속 가능한 표준을 확보하여 파이프라인이 끝날 때 동일하고 신뢰할 수 있는 데이터를 얻을 수 있도록 합니다.

이제 문제를 감지하고, 업스트림의 근본 원인을 파악하고, 효율적인 반복 프로세스를 통해 데이터 플랫폼의 전반적인 상태를 점진적으로 개선할 수 있게 되었습니다.

데이터 관측성의 5가지 핵심 요소는 데이터의 품질과 신뢰성에 대한 가치 있는 인사이트를 제공합니다.

1. 신선도

신선도는 데이터가 얼마나 최신 상태인지, 얼마나 자주 업데이트되는지를 나타냅니다. 데이터 정체는 데이터가 업데이트되지 않은 시점에 중요한 시간 간격이 있을 때 발생합니다. 데이터 파이프라인이 중단되는 경우는 대부분 신선도 문제로 인한 경우가 많습니다.   

2. 분포

데이터의 필드 수준 상태를 나타내는 지표인 분포는 데이터가 허용 범위 내에 있는지 여부를 나타냅니다. 예상 분포에서 벗어나는 것은 데이터 품질 문제, 오류 또는 기본 데이터 소스의 변경을 나타낼 수 있습니다.  

3. 볼륨

볼륨은 다양한 프로세스와 파이프라인을 통해 생성, 수집, 변환 및 이동되는 데이터의 양을 의미합니다. 또한 데이터 테이블의 완전성을 나타냅니다. 볼륨은 데이터 사용량이 예상 임계값을 충족하고 있는지 여부를 나타내는 핵심 지표입니다.

4. 스키마

스키마는 데이터의 구성을 설명합니다. 스키마 변경으로 인해 데이터가 손상되는 경우가 종종 있습니다. 데이터 관측성은 데이터가 일관되게 구성되고, 다양한 시스템에 걸쳐 호환되며, 수명 주기 내내 무결성을 유지할 수 있도록 도와줍니다.  

5. 리니지

리니지의 목적은 데이터가 끊어졌을 때 "어디서?"라는 질문에 답하는 것입니다. 소스에서 최종 위치까지 데이터를 살펴보며 변경된 내용, 변경된 이유, 그 과정에서 어떻게 변경되었는지 등 모든 변경 사항을 기록합니다. 리니지는 시각적으로 표현되는 경우가 가장 많습니다.

데이터 관측성은 데이터 품질을 지원하지만, 이 두 가지는 데이터 관리의 서로 다른 측면입니다.

데이터 관측성 관행이 데이터 세트의 품질 문제를 지적할 수는 있지만, 그 자체로 우수한 데이터 품질을 보장할 수는 없습니다. 데이터 품질을 위해서는 데이터 문제를 해결하고 애초에 문제가 발생하지 않도록 예방하는 노력이 필요합니다. 반면, 데이터 관측성 이니셔티브를 구현하지 않더라도 강력한 데이터 품질을 가질 수 있습니다.

데이터 품질 모니터링은 데이터 세트의 상태가 운영 및 분석 애플리케이션에서 의도한 용도에 적합한지 여부를 측정합니다. 이러한 결정을 내리기 위해 정확성, 완전성, 일관성, 유효성, 신뢰성, 적시성 등 다양한 품질 차원을 기준으로 데이터를 검토합니다.

데이터 관측성과 데이터 거버넌스는 서로를 지원하는 상호 보완적인 프로세스입니다.

데이터 거버넌스는 조직의 데이터가 가용성, 사용 가능성, 일관성, 보안성을 갖추고 내부 표준 및 정책에 따라 사용되도록 보장하는 것을 목표로 합니다. 거버넌스 프로그램은 종종 데이터 품질 개선 노력과 통합되거나 밀접하게 연관되어 있습니다. 

강력한 데이터 거버넌스 프로그램은 데이터 관측성 관행의 가치를 제한할 수 있는 데이터 사일로, 데이터 통합 문제, 열악한 데이터 품질을 제거하는 데 도움이 됩니다. 

데이터 관측성은 데이터 품질, 가용성 및 리니지의 변화를 모니터링하여 거버넌스 프로그램을 지원할 수 있습니다.

모든 데이터 관측성이 동일하게 생성되는 것은 아닙니다. 어떤 메타데이터를 수집하고 가시성을 제공할 수 있는지에 따라 달성할 수 있는 컨텍스트의 수준디 달라집니다. 이를 데이터 '관측성의 계층 구조'라고 합니다. 각 레벨은 다음 레벨을 위한 토대가 되며, 이를 통해 점진적으로 더 세분화된 관측 가능성 을 확보할 수 있습니다.

다음은 성공적인 관측성 파이프라인을 구축하는 데 일반적으로 거쳐야 할 주요 단계입니다. 이 과정에는 다양한 툴과 기술의 통합은 물론, 조직 내 여러 팀의 협업이 포함됩니다.

• 주요 메트릭 정의: 추적해야 하는 중요한 메트릭을 먼저 식별합니다. 데이터 품질 메트릭, 데이터 볼륨, 대기 시간, 오류율 및 리소스 사용률 등이 여기에 포함될 수 있습니다. 선택해야 할 메트릭은 특정 비즈니스 요구 사항과 데이터 파이프라인의 특성에 따라 달라집니다.
  
  
• 적절한 툴 선택: 다음으로 데이터 수집, 저장, 분석 및 알림에 필요한 툴을 선택합니다. 오픈소스를 포함하여 선택한 툴이 기존 인프라와 호환되고 운영 규모를 처리할 수 있는지 확인해야 합니다.
  
  
• 라이브러리 표준화: 팀이 같은 언어를 사용하고 문제에 대해 공개적으로 소통할 수 있는 인프라를 구축합니다. 여기에는 API 및 데이터 관리를 위한 표준화된 라이브러리(예: 데이터 웨어하우스 쿼리, 데이터 레이크에서 읽기/쓰기, API에서 데이터 가져오기 등) 및 데이터 품질이 포함됩니다.
  
  
• 데이터 파이프라인 계측: 계측에는 데이터 수집 라이브러리 또는 에이전트를 데이터 파이프라인에 통합하는 작업이 포함됩니다. 이를 통해 파이프라인의 다양한 단계에서 정의된 메트릭을 수집할 수 있습니다. 목표는 포괄적인 가시성을 확보하는 것이므로 모든 중요한 단계를 계측하는 것이 핵심입니다.
  
  
• 데이터 스토리지 솔루션 설정: 수집된 메트릭은 데이터가 증가하면 확장할 수 있는 데이터베이스 또는 시계열 플랫폼에 저장되어야 합니다. 선택한 스토리지 솔루션이 데이터의 양과 속도를 처리할 수 있는지 확인하세요.
  
  
• 데이터 분석 툴 구현: 이러한 툴은 저장된 메트릭에서 인사이트를 도출하는 데 도움이 됩니다. 심층적인 분석을 위해서는 직관적인 시각화를 제공하고 복잡한 쿼리를 지원하는 툴을 사용하는 것이 좋습니다.
  
  
• 경고 및 알림 구성: 사전 정의된 임계값을 초과하거나 이상 징후가 감지되면 자동 알림을 전송하는 시스템을 구축합니다. 이렇게 하면 팀이 문제에 신속하게 대응하여 잠재적인 다운타임을 최소화할 수 있습니다.
  
  
• 인시던트 관리 플랫폼과 통합: 관측성에는 이슈를 감지하는 것 외에도 이슈를 효과적으로 관리하는 것도 포함됩니다. 관측성 파이프라인을 사고 관리 시스템과 통합하면 대응 워크플로우를 간소화하는 데 도움이 됩니다.
  
  
• 관측성 파이프라인을 정기적으로 검토하고 업데이트: 비즈니스가 발전함에 따라 데이터와 요구 사항도 발전합니다. 관측성 파이프라인을 정기적으로 검토하고 업데이트하면 필요한 인사이트와 성능을 지속적으로 제공할 수 있습니다.

관측성 파이프라인을 구축하는 것은 지속적인 학습과 개선의 과정입니다. 작은 것부터 시작하여 경험을 통해 배우고 관측 가능성 역량을 점진적으로 확장하는 것이 좋습니다.