워크플로 오케스트레이션¶
오케스트레이터는 dependency, retry, schedule과 artifact 경계를 관리할 필요가 있을 때 도입합니다.
핵심¶
- 각 task의 입력, 출력과 idempotency를 정의합니다.
- 실패한 task만 재실행해도 lineage가 유지되어야 합니다.
- 단일 script로 충분한 규모에서는 새로운 platform을 추가하지 않습니다.
연습¶
- 현재 pipeline을 task DAG와 artifact 목록으로 그립니다.