데이터 품질의 비밀 (1)

Intro

줌인포는 데이터 품질문제로 고객의 20%가 이탈한 경험을 가지고 있다. 데이터 조직이 품질 문제를 처리하기 위해 전체 업무의 40%이상 소모한다. 하지만 데이터 관련 사소한 이슈는 지속적으로 발생하고 데이터 오류는 흔한 일이므로 놀랄 일은 아니었다.

• 남극 탐험가들은 신뢰할 수 없는 저품질 데이터로 목적지인 남극의 위치를 잘못 계산
• 1999년 화성 기후 궤도선(NASA) 사고는 미터법을 혼동하여 발생한 일, 이 일로 1억 2500만 달러 비용 발생
• 필자는 이처럼 흔하지만 큰 사고를 발생할 수 있는
  데이터 다운타임
  을 방지 하기 위해 데이터 품질을 유지, 관리하는 방법을 제시하고자 문제를 분석했다.

(1) 데이터 품질이란?

• 신뢰성(reliability), 완전성(completeness), 정확성(accuracy)
• "측정하지 않으면 관리할 수 없고 관리할 수 없으면 개선할 수도 없다."
• 데이터 품질은 과거 부터 존재해왔으며 위와 같이 정의된다. 대부분의 기업에서 데이터 엔지니어와 분석가는 데이터 분석 외에 품질까지 풀타임으로 관리할 자원이 부족하다. 이로인해 더 중요한 프로젝트에 참여하기 어렵다.

(2) 데이터 품질의 현재

데브옵스(DevOps) 등장으로 시스템 라이프 사이클을 줄이고 CI-CD를 통해 품질관리가 용이한 MSA 형태로 진화해왔다. 여기서 신뢰성이 높은 데이터를 관리하기 위해 다수의 기업들이 DevOps에서 DataOps 개념을 적용해 오고 있다. 데이터 관리의 자동화를 통해 데이터의 안정성과 성능을 개선하고 데이터 사일로를 줄이며 데이터 분석 속도를 높이고 오류는 감소시키는 프로세스를 말한다.

데이터 다운 타임의 증가는 데이터 자체를 수익화하기 위해 데이터 정확도를 높이려는 시도가 많아지고 있다. 이에 따른 데이터 다운 타임을 일으키는 요소는 아래와 같다.

• 클라우드 마이그레이션 : 과거에는 데이터 웨어하우스가 사무실 어딘가에 물리적으로 존재했으나 현재는 AWS Redshift, Snowflake, Google Bigquery와 같은 솔루션을 통해 사용자가 더 쉽고 빠르게 데이터를 처리할 수 있게 되면서 클라우드는 더 큰 인기를 갖게 되었다.
• 더 많은 데이터 소스들 : 의사결정에 미치는 요소를 모두 반영하기 위해 놓치면 안되는 소스들을 다 반영하기 위해 많은 데이터 소스들이 필요하게 되었다.
• 데이터 파이프라인의 복잡성 증가 : 서비스가 고도화 됨에 따라 특정 행위에 대한 데이터가 다른 데이터에 영향을 주는 종속관계가 더 넓어지고 깊어지고 한 어플리케이션의 다운타임이 다른 데이터의 품질에 영향을 주게 되었다.
• 데이터 조직의 전문성 강화 : 데이터 분석가와 데이터 엔지니어, 데이터 과학자 다소 업무 영역이 겹치지만 데이터 과학자의 업무가 더 포괄적으로 각각의 일을 고도화하는 개념으로 사용. 우버는 데이터 분석가의 직함을 데이터 과학자로 모두 바꾸면서 모든 일을 고도화할 수 있는 인재를 수집했다. (영역을 나눌 경우 다운타임 증가)
• 분산된 데이터 조직 : 200명 회사에서 10명의 데이터 관리 조직이 각 부서 별로 있고 보고 형식을 직접 정한다면 시간이 지남에 따라 데이터셋이 중복 혹은 누락되거나 상이해지는 현상이 생길 수 박에 없다.

Ref)

SRE(Site Reliability Engineering) : 사이트 신뢰성 담당자
데이터 다운타임(data downtime) : 데이터가 수집되지 않아 누락되거나 부정확하게 측정되는 등의 데이터 손실로 인해 서비스 중지 되는 상황 (**신뢰 할 수 없는 데이터가 너무 많을 때 발생, bad data와 다른 개념)
데이터 업타임 : 서비스가 정상적으로 수행되는 시간
데이터 스튜어드 : 데이터 관리자는 조직 내에서 감독 또는 데이터 거버넌스 역할이며 해당 데이터 자산에 대한 메타데이터를 포함하여 조직의 데이터 자산 목적에 대한 품질과 적합성을 보장하는 책임