Data Orchestration
ยท
๐Ÿ›ข๏ธ Database
Data Orchestration Airflow? ๋ฐ์ดํ„ฐ ์ข…์‚ฌ์ž๋ผ๋ฉด Data Orchestration(๋ฐฐ์น˜ ํˆด)์— ๋Œ€ํ•ด ํ•œ ๋ฒˆ์ฏค ๋“ค์–ด๋ดค์„ ๊ฒƒ์ด๋‹ค. ๊ทธ์ค‘ Airflow๊ฐ€ ๊ฐ€์žฅ ๋Œ€์ค‘์ ์ด๊ณ  ์ธ๊ธฐ๊ฐ€ ์žˆ์ง€๋งŒ ์ด Dag system์„ ์ฒ˜์Œ ์ตํžˆ๊ธฐ๋Š” ์ƒ๋‹นํžˆ ์ƒ์†Œํ•˜๊ณ  ๋‹ค๋ฃจ๊ธฐ ์–ด๋ ค์šธ ๊ฒƒ์ด๋‹ค. execute date, start date, clear ๋“ฑ ๋“ฑ ๋ฐฐ์น˜ํ•˜๋‚˜ ํ•œ ์ค‘์š”ํ•œ task๋กœ ์ด๋ฃจ์–ด์ง„ ๋ฐฐ์น˜๊ฐ€ ์‹œ์Šคํ…œ์„ ์ž˜ ์ดํ•ดํ•˜์ง€ ๋ชปํ•˜๋ฉด ์‹คํ–‰ ์‹œ๊ฐ„์ด ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ๊ณ  ๋ถˆํ•„์š”ํ•œ ๊ธฐ๋Šฅ์œผ๋กœ ์‹คํŒจํ•œ task๊ฐ€ ์‹คํŒจ ์‹œ์ ์—์„œ ์ง€๊ธˆ ์‹œ๊ฐ„๊นŒ์ง€ ์žฌ์‹œ์ž‘์ด ๋˜๋Š” ๋ถˆ์ƒ์‚ฌ ๋˜ํ•œ ์ผ์–ด๋‚  ์ˆ˜๋„ ์žˆ๋‹ค. (ex) catch_up)  Airflow์˜ UI๋ฅผ ๋ณผ ๋•Œ ํ˜นํ•ด์„œ ๋งŽ์ด๋“ค ์„ ํƒํ•˜๊ณ  ํ›„ํšŒํ•˜๋Š” ํฌ์ธํŠธ๊ฐ€ ์—ฌ๋Ÿฟ ์žˆ๋‹ค.  ์ฒซ ๋ฒˆ์งธ. Airflow์˜ ํŒจํ‚ค์ง€ ๊ด€์  ..
๋‹คํ–ˆ๋‹ค
'data orchestrator' ํƒœ๊ทธ์˜ ๊ธ€ ๋ชฉ๋ก