데이터 파이프라인 모니터링 및 이상 탐지추천 도서 Anomaly Detection for Monitoring알려진 미지와 알려지지 않은 미지알려진 미지 : 예측할 수 있는 것쉽게 예측이 가능한 종류(NULL 값, 특정 신선도 문제, 시스템 정기 업데이트로 유발된 스키마 변경)알려지지 않은 미지 : 테스트로도 설명할 수 없는 데이터 다운타임, 즉 특정 테스트에서 다루는 섹션뿐 아니라 전체 데이터 파이프라인에서 발생하는 문제를 의미 데이터 모니터링 1. 신선도 모니터링 아래 쿼리는 ROW 추가 수를 날짜별로 정리된 table을 활용해 데이터 다운스트림을 추적하는 쿼리이다. DAYS_SINCE_LAST_UPDATE 중단 지점을 기점으로 다음 날짜간의 간격이 2일 초과이면 조회를 한다.이렇게WITH UPDATE..

Intro줌인포는 데이터 품질문제로 고객의 20%가 이탈한 경험을 가지고 있다. 데이터 조직이 품질 문제를 처리하기 위해 전체 업무의 40%이상 소모한다. 하지만 데이터 관련 사소한 이슈는 지속적으로 발생하고 데이터 오류는 흔한 일이므로 놀랄 일은 아니었다.남극 탐험가들은 신뢰할 수 없는 저품질 데이터로 목적지인 남극의 위치를 잘못 계산1999년 화성 기후 궤도선(NASA) 사고는 미터법을 혼동하여 발생한 일, 이 일로 1억 2500만 달러 비용 발생필자는 이처럼 흔하지만 큰 사고를 발생할 수 있는데이터 다운타임을 방지 하기 위해 데이터 품질을 유지, 관리하는 방법을 제시하고자 문제를 분석했다.(1) 데이터 품질이란?신뢰성(reliability), 완전성(completeness), 정확성(accuracy..