데이터 수집 · 정제 · 변환 · 테스트(1) 데이터 수집수집에만 초점을 두면 데이터 파이프라인의 시작 부분인 업스트림에 있는 진입점이 가장 중요하다고 소개한다. Docker를 예시로 들면 entrypoint라고 할 수 있다. 진입점의 데이터는 모델링을 하는 외부 세계의 전형적인 노이즈와 불규칙성을 모두 내포하고 있어 가장 원시적이다. 대게 데이터 엔지니어가 데이터 수집 소스를 보유하지는 않는다. 대부분 분석 서비스 또는 API와 같은 일부 비즈니스 목표, 업스트림 도구에 의존한다. 데이터 소스는 크게 세가지로 분류 된다.애플리케이션 로그 데이터소프트웨어 애플리케이션 내의 작업으로 생성된 데이터를 나타내며 클라이언트용 또는 내부용일 수 있다. 작업은 사용자 시작 또는 프로그래밍 방식일 수 있다. 소프트..