데이터 수집 · 정제 · 변환 · 테스트(1) 데이터 수집수집에만 초점을 두면 데이터 파이프라인의 시작 부분인 업스트림에 있는 진입점이 가장 중요하다고 소개한다. Docker를 예시로 들면 entrypoint라고 할 수 있다. 진입점의 데이터는 모델링을 하는 외부 세계의 전형적인 노이즈와 불규칙성을 모두 내포하고 있어 가장 원시적이다. 대게 데이터 엔지니어가 데이터 수집 소스를 보유하지는 않는다. 대부분 분석 서비스 또는 API와 같은 일부 비즈니스 목표, 업스트림 도구에 의존한다. 데이터 소스는 크게 세가지로 분류 된다.애플리케이션 로그 데이터소프트웨어 애플리케이션 내의 작업으로 생성된 데이터를 나타내며 클라이언트용 또는 내부용일 수 있다. 작업은 사용자 시작 또는 프로그래밍 방식일 수 있다. 소프트..

신뢰할 수 있는 데이터 시스템 구축을 위한 블록 조립(1) 운영 데이터와 분석 데이터의 차이조직 내 데이터를 가장 크게 구분해 달라고 한다면 간단하게 운영 데이터와 분석 데이터로 나눌 수 있다. 운영 데이터의 품질과 신뢰성 관리는 종종 (DevOps, SRE), 분석 데이터의 관리는 소프트웨어 프로덕트와 관련이 있을 것이다. 간단한 예로 OLTP와 OLAP라고 볼 수 있다. 운영상이냐 분석을 위해 이냐 차이로 보면 된다.운영 데이터는 운영상 생성된 데이터, 조직에서 일상적인 운영을 통해 생성된 데이터이다. 특정 시점의 인벤토리 스냅샷, 고객 인상 및 거래 기록 모두 운영 데이터에 속한다.분석 데이터는 분석적으로 사용되는 데이터, 데이터 기반 의사 결정에 활용되는 데이터를 말한다. 전환률, 클릭률, 글로벌..

Intro줌인포는 데이터 품질문제로 고객의 20%가 이탈한 경험을 가지고 있다. 데이터 조직이 품질 문제를 처리하기 위해 전체 업무의 40%이상 소모한다. 하지만 데이터 관련 사소한 이슈는 지속적으로 발생하고 데이터 오류는 흔한 일이므로 놀랄 일은 아니었다.남극 탐험가들은 신뢰할 수 없는 저품질 데이터로 목적지인 남극의 위치를 잘못 계산1999년 화성 기후 궤도선(NASA) 사고는 미터법을 혼동하여 발생한 일, 이 일로 1억 2500만 달러 비용 발생필자는 이처럼 흔하지만 큰 사고를 발생할 수 있는데이터 다운타임을 방지 하기 위해 데이터 품질을 유지, 관리하는 방법을 제시하고자 문제를 분석했다.(1) 데이터 품질이란?신뢰성(reliability), 완전성(completeness), 정확성(accuracy..