데이터 품질의 비밀 (4)

데이터 파이프라인 모니터링 및 이상 탐지

---

• 추천 도서 Anomaly Detection for Monitoring

알려진 미지와 알려지지 않은 미지

• 알려진 미지 : 예측할 수 있는 것
  • 쉽게 예측이 가능한 종류(NULL 값, 특정 신선도 문제, 시스템 정기 업데이트로 유발된 스키마 변경)
• 알려지지 않은 미지 : 테스트로도 설명할 수 없는 데이터 다운타임, 즉 특정 테스트에서 다루는 섹션뿐 아니라 전체 데이터 파이프라인에서 발생하는 문제를 의미

 

데이터 모니터링

 1. 신선도 모니터링

 아래 쿼리는 ROW 추가 수를 날짜별로 정리된 table을 활용해 데이터 다운스트림을 추적하는 쿼리이다. DAYS_SINCE_LAST_UPDATE 중단 지점을 기점으로 다음 날짜간의 간격이 2일 초과이면 조회를 한다.
이렇게

WITH UPDATES AS (
    SELECT DATE_ADDED
         , COUNT(*) ROWS_ADDED
      FROM EXOPLANETS
     GROUP BY DATE_ADDED
     ), 
 NUM_DAYS_UPDATES AS (
    SELECT DATE_ADDED
         , TO_DAYS(DATE_ADDED) - TO_DAYS(LAG(DATE_ADDED) OVER(ORDER BY DATE_ADDED)) AS DAYS_SINCE_LAST_UPDATE
      FROM UPDATES
      )
 SELECT *
   FROM NUM_DAYS_UPDATES
  WHERE DAYS_SINCE_LAST_UPDATE > 2
;

 

2. 분포

 정규 분포를 활용하면 매우 단순하지만 놀랍고 효과적인 이상탐지의 기초적인 접근 방식을 생각할 수 있다.
NULL 값 비율을 탐지하는 '스파이크'가 있음을 보여준다.

SELECT DATE_ADDED
     , COUNT(*) ROWS_ADDED
     , CAST(
        SUM(
            CASE 
                WHEN DISTANCE IS NULL THEN 1
                ELSE 0
            END
            ) AS FLOAT) / COUNT(*) AS DISTANCE_NULL_RATE,
        CAST(
            SUM(
                CASE
                    WHEN G IS NULL THEN 1
                    ELSE 0
                END
                ) AS FLOAT) / COUNT(*) AS G_NULL_RATE,
        CAST(
            SUM(
                CASE
                    WHEN ORBITAL_PERIOD IS NULL THEN 1
                    ELSE 0
                END
                ) AS FLOAT) / COUNT(*) AS ORBITAL_PERIOD_NULL_RATE,
        CAST(
            SUM(
                CASE
                    WHEN AVG_TEMP IS NULL THEN 1
                    ELSE 0
                END
                ) AS FLOAT) / COUNT(*) AS AVG_TEMP_NULL_RATE
        FROM EXOPLANETS
        GROUP BY DATE_ADDED;

 

 3. 계보의 시각화

 계보 : 데이터 옵저버빌리티의 다섯가지 핵심 요소 중 가장 중요한 것

• 영향받을 수 있는 다운스트림 소스
• 근본적인 원인이 될 수 있는 업스트림 소스를 알려줌으로써 맥락화 단서
  데이터 Quick SQL Script를 이용해 각 컬럼의 속성을 보고 의존성을 파악한다.4. 데이터 이상 조사평상시 정규분포를 따르고 있는 데이터가 3 sigma 이상의 차이가 나는 값이 자주 발생한다면 이상치라고 의심해 볼 수 있다. 1번의 NULL 비율과 같다고 보면 된다.

 

데이터 품질 모니터 설계 : 데이터 웨어하우스 vs 데이터 레이크

 데이터 웨어하우스의 구조화된 모놀로식 데이터, 최신 데이터 레이크를 밑바닥부터 시작할지 구분하고 결정하는 일은 중요하다.

 

고려해야할 요소

• 고려해야하는 진입점의 수
• 메타데이터 수집 및 저장 방법
• 메타 데이터에 접근하는 방법

---

정리

1. 데이터 레이크의 진입점이 많다. 높은 이질성 고려 (PostgresSQL)
2. 데이터 레이크로 직접 수집된 메타데이터는 이상 탐지 알고리즘을 실행하기 전에 다양한 수준의 전처리가 필요.

[keyword]

아주 낮은 값과 아주 높은 값 사이의 골디락스 존(Goldilocks Zone), 스위트 스팟(sweet spot)
골디락스 존(Goldilocks Zone) : 생물이 살아가기에 적합한 환경을 지닌 우주 공간의 범위
스위트 스팟(sweet spot) : 클럽, 라켓, 배트 등에 공이 맞았을때 가장 잘 날아가는 최적의 지점을 뜻하는 스포츠 용어