home
🥞 BE
//
home
//

Dataflow Orchestration

Date
2023/06/22
Category
Data Engineering
Tag
Basic
Detail

오케스트레이션이란

오케스트라처럼 데이터 테스크를 지휘하는 느낌.
1.
테스크 스케줄링
2.
분산 실행
3.
테스크간 의존성 관리

오케스트레이션은 왜 필요한가

1.
서비스가 커지면서 데이터 플랫폼의 복잡도가 커짐
2.
데이터가 사용자와 직접 연관되는 경우가 늘어남 (워크플로우가 망가지면 서비스도 망가짐)
3.
테스크 하나하나가 중요해짐
4.
테스크간 의존성도 생김
오케스트레이션을 도와주는 대표적인 툴이 Apach Airflow.