Data Orchestration

 

 

Data Orchestration Airflow?

 데이터 종사자라면 Data Orchestration(배치 툴)에 대해 한 번쯤 들어봤을 것이다. 그중 Airflow가 가장 대중적이고 인기가 있지만 이 Dag system을 처음 익히기는 상당히 생소하고 다루기 어려울 것이다. execute date, start date, clear 등 등 배치하나 한 중요한 task로 이루어진 배치가 시스템을 잘 이해하지 못하면 실행 시간이 달라질 수 있고 불필요한 기능으로 실패한 task가 실패 시점에서 지금 시간까지 재시작이 되는 불상사 또한 일어날 수도 있다. (ex) catch_up)

Airflow Fail

 

 Airflow의 UI를 볼 때 혹해서 많이들 선택하고 후회하는 포인트가 여럿 있다. 

 

첫 번째. Airflow의 패키지 관점 (build 시). Airflow의 package dependencies는 버전에만 있는 게 아니다. 각각의 provider는 공식적으로 airflow에서 다른 db connection과 편리한 기능들을 제공하므로 내가 사용하는 버전과 다를 경우 강제로 package(ex, pendulum < 3.0) 버전을 낮춰 빌드해야 한다. 이럴 경우 provider에서 보장하는 패키지 종속성이 깨지기 때문에 문제가 발생한다. 

 

예를 들면 낮은 els를 사용하는 유저라면 Opensearch(<2), elasticsearch(<7.1) 일 때  package 버전이 (opensearch-py <= 1.3.7, elasticsearch<=7.13.1) 종속성이 생긴다. 이때 높은 버전의 airflow(>= 2.5)를 설치하려고 한다면 Error가 발생한다. apache-airflow-providers-elasticsearch 기본 내장 elasticsearch(>8, <9) 버전을 설치한다. 낮은 버전을 계속 사용하다. 버그를 고치기 위해 airflow를 upgrade를 해야 한다면 또 다른 문제가 생기게 된다.  

 

두 번째. Airflow workflow 버전 관리. workflow의 버전이 추적되지 않아 코드 변경된 이력을 알 수 없다. airflow는 Airbnb의 예약관리 scheduler로 Dag 개념자체가 calendar가 아닌 execute, interval, start에 있기 때문에 실행 횟수 정도만 추적이 가능하다. 데이터 분석가 관점에서 보면 code를 마음껏 수정하고 즉시 실행 결과를 확인할 수 있어 좋지만 개발자 입장에서 보았을 때 이는 문화 충격에 가깝다. 이 대안으로 git-sync를 이용해 code CD를 구축하는 방법이 있지만 좋은 대안은 아니다. 

세 번째. 높은 학습 곡선. Airflow를 처음 시작하면 많은 Operator에 대해 반갑게 느껴질 것이다. 그것도 잠시 99% 원하는 방향으로 작동되지 않는다. Python의 Dacorator를 남발한 함수들이 나를 방해하고 있을 가능성이 높다. 아이러니하게 Airflow의 기능을 최소로 사용하는 것이 Airflow를 가장 잘 사용하는 방법이 있다는 소문이 있다. 

 

 

 

그렇다면 어떤 Orchestra를 사용해야 할까?

Orchestration 종류

Siloed, uncoordinated orchestrators / following organizational boundaries

Domain-Specific / Orchestration

https://medium.com/apache-airflow/mind-the-gap-seamless-data-and-ml-pipelines-with-airflow-and-me taflow-7e40213dd719

Mind the Gap: Seamless data and ML pipelines with Airflow and Metaflow

Tool	⭐ K	Type	Support Docker
Airflow	35.7	Centralized Orchestrator	apache/airflow
Luigi	17.6	Domain-Specific	spotify/luigi
Prefect	15.5	Centralized Orchestrator	prefecthq/prefect
Dagster	10.9	Centralized Orchestrator	docs
Kedro	9.5	Domain-Specific	kedro-docker
Cadence	8	Centralized Orchestrator	-
Mage AI	7.5	Centralized Orchestrator	mageai/mageai
Apache NiFi	4.6	Domain-Specific	apache/nifi
Maestro	2.1	Domain-Specific	None Official
Apache Oozie	0.7	Centralized Orchestrator	None Official

 

  2024/08/01 시점의 github star로 보아 가장 인기 있는 것은 airflow고 가장 커뮤니티가 활성화된 툴 역시 airflow다. airflow의 단점이 그렇게 많고 불편하지만 이런 데이터 Orchestra Tool 같은 경우 한번 사용할 경우 몇 년을 내다보고 사용하고 쉽게 바꾸지 않는 특성에 가장 좋은 것을 따라가는 것이 하나의 정답이 될 수 있다. 

 

 사내에서 airflow의 기능이 너무 많은 리소스를 잡고 있는 게 아닌가라는 질문을 시작으로 여러 가지 툴들을 검색하면서 알아본 결과 대형 IT 기업에서 사내에서 사용하는 배치 프로그램들이 오픈소스화된 게 상당히 많았다. 최근에 나온 Netflix의 Maestro 또한 이중하나로 airflow의 대항마가 될지 많은 관심을 받고 있다. 

 

https://news.ycombinator.com/item?id=41037745 

Maestro: Netflix's Workflow Orchestrator | Hacker News

 

 

 People need to realize that code is a liability

  Data Orchestrator 도입 시 고려해야 될 사항 중 한 가지로시간이 많이 지나 코드에서 생기는 부채가 있다. 코드에서 생긴 버그를 고칠 사람이 점점 없어지기 때문에 오픈 소스를 프로덕트에 도입할 때 신중해야 한다. 코드를 잘 모른다면 커뮤니티 활성화를 염두하는 것이 정말 중요하다.(git issue) 

 

 훗날 나의 자리에 있을 다른 사람을 위해서라도 여러 번 고민했으면 좋겠다...