[Airflow 3] What's new Airflow 3

https://youtu.be/2g1nBbHgZbY?si=_zVw2PPifVqkHolN

 

Airflow Summit 2024

What's coming in Airflow 3 and beyond?

 

Airflow History

 

2014년 : Airflow 등장!
2015년 : Apache의 최고 수준 프로젝트
2019년 : HA 스케줄러, REST API를 통한 완전한 스펙 정의 등을 포함한 Enterprise Production-Ready 완료
2020년 ~ 2024년: 비동기 작업자, 동적 작업, 설치 및 해체, Airflow ObjectStore 등을 포함하여 사용 편의성과 효율성 증가
2021년 ~ 2024년: 데이터 기반 스케줄링, 조건부 데이터셋, 통합된 데이터셋 및 시간 스케줄링, 데이터셋 이벤트 API 등을 포함하여 데이터 인식 기능을 추가
2024년 ~ 2025년: Airflow 3가 출시될 예정!

 

 

DAG Versioning 기능 추가

Airflow DAG versioning

 

 Airflow는 많은 편리성을 제공하지만 Dag Script가 언제 시작되고 어떤 버전의 Script로 구동이 되었는지 추적이 불가능하다. 이를 해결하기 위해 dbt tool을 사용해 스크립트를 명시하는 방법이 있지만 다른 툴에 의존해야 하는 것 또한 불편한 방법이다. 설문 조사에서 역시 Airlfow 사용자의 52.2%가 불편함을 겪고 있다고 응답했다. 

 

Airlfow 개선 사항

 

 

Stronger Security

 앞서 소개한 DAG Versioning 이외에 Stronger Security: Airflow metadatabase 관리에 대해 개선사항이 예정이다. Task 단위의 등급에서 Airflow metadatabase에 접근이 불가능하게 한다는 것이다. 

Airflow 2 vs Airflow 3 : Task Excution

 Airflow Worker에서 Task가 실행될 때 Metabase에 직접 접근할 때 잦은 I/O로 생기는 문제가 많다. 가령 xcom에서 생기는 memory의 양이 database에 따라 제한되어 있거나 Task 간 독립성이 보장되지 않을 때가 있다.

 

Run at any time

Airflow : Run at anytime

 

Event-driven scheduling(이벤트 기반 스케줄링)

 외부 소스의 이벤트에 자동으로 반응하는 파이프라인을 통해 실시간으로 응답하고 실행한다. 데이터 자산을 기반으로 구축됨.

 

Data partitioning

시간 및 세그먼트 기반의 파티션을 통해 특정 데이터 슬라이스를 독립적으로 처리. 성능 향상 및 처리 시간과 리소스 사용을 줄임.

 

Inference Execution 동일한 DAG의 동시 실행. 동기화된 DAG 실행.

 

추가로 JS, Javascript, TS language를 지원한다. 

 

 

 

 출시 일자는 Dev 버전이 2025년 1월 1일로 예정되어 있고 Beta RC는 3월 31일로 예정되어 있다. 마일스톤과 Confluence 페이지에서 상세한 계획과 개발과정을 알 수 있다.

 

MileStone

https://github.com/apache/airflow/milestone/35

GitHub - apache/airflow: Apache Airflow - A platform to programmatically author, schedule, and monitor workflows

 

https://cwiki.apache.org/confluence/display/AIRFLOW/Airflow+3.0

Airflow 3.0 - Airflow - Apache Software Foundation