Data Orchestration Airflow? 데이터 종사자라면 Data Orchestration(배치 툴)에 대해 한 번쯤 들어봤을 것이다. 그중 Airflow가 가장 대중적이고 인기가 있지만 이 Dag system을 처음 익히기는 상당히 생소하고 다루기 어려울 것이다. execute date, start date, clear 등 등 배치하나 한 중요한 task로 이루어진 배치가 시스템을 잘 이해하지 못하면 실행 시간이 달라질 수 있고 불필요한 기능으로 실패한 task가 실패 시점에서 지금 시간까지 재시작이 되는 불상사 또한 일어날 수도 있다. (ex) catch_up)  Airflow의 UI를 볼 때 혹해서 많이들 선택하고 후회하는 포인트가 여럿 있다.  첫 번째. Airflow의 패키지 관점 ..

Entrypoint 프로덕션 이미지의 기본 진입점을 사용하는 경우 컨테이너가 시작될 때 자동으로 수행되는 몇 가지 동작이 있습니다. 어떤 경우에는 환경 변수를 이미지에 전달하여 해당 동작 중 일부를 트리거할 수 있습니다.임의의 사용자가 컨테이너를 실행하도록 허용 Airflow 이미지는 Open-Shift와 호환되므로 임의의 사용자 ID와 그룹 ID 0( root)로 시작할 수 있습니다. Airflow와 다른 사용자로 이미지를 실행하려면 사용자의 GID를 .으로 설정해야 합니다 0. 다른 그룹을 사용하려고 하면 진입점이 오류와 함께 종료됩니다.OpenShift는 컨테이너를 시작할 때 UID를 무작위로 할당하지만, 이미지를 수동으로 실행하는 경우에도 이 유연한 UID를 활용할 수 있습니다. 이는 예를 들어 ..

원인 docker로 기존 airflow 2.4 -> 2.8로 업그레이드 후 다시 2.8 -> 2.4로 downgrade 할 때 db migration이 되지 않아 생기는 문제 Solution 1) airflow-init 시 구성 단계에서 `airflow db upgrade'를 실행해야하지만 init 단계의 time이 짧아 바로 종료 되어 버림 따라서 local 환경이라면 `airflow db migrate`로 db migrate 혹은 `airflow db upgrade`를 수행 https://airflow.apache.org/docs/apache-airflow/stable/migrations-ref.html Reference for Database Migrations — Airflow Documentat..

airflow db 초기화 오류더보기----------------------------------------------------------------------------------------------------------------------Traceback (most recent call last):  File "/opt/homebrew/bin/airflow", line 5, in     from airflow.__main__ import main  File "/opt/homebrew/lib/python3.11/site-packages/airflow/__init__.py", line 68, in     settings.initialize()  File "/opt/homebrew/lib/python..

docker-compose로 구성한 container 중 airflow-init-1가 시작과 동시에 꺼지는 현상을 볼 수 있다. 이는 container 구성 중 초기화를 잘 실행하고 완료되어 꺼진 것이다. docker-compose 후 --detach가 없으면 airflow 계속 실행하기 떄문에 이를 방지하기 위함이다. https://stackoverflow.com/questions/68714224/airflow-exiting-after-initilalization Airflow exiting after Initilalization I'm trying to set up airflow instance using docker-compose in an Ubuntu EC2 Instance. After airfl..