-
Easy Scheduler
鎖定
DolphinScheduler(原EasyScheduler
[1]
) 是一個分佈式工作流任務調度系統，主要解決數據研發ETL錯綜複雜的依賴關係，而不能直觀監控任務健康狀態等問題。Easy Scheduler以DAG流式的方式將Task組裝起來，跳過可實時監控任務的運行狀態，同時支持重試、從指定節點恢復失敗、暫停及Kill任務等操作。EasyScheduler由在工作流調度方面工作多年的多位小夥伴研發而成
- 中文名
- 海豚調度
- 外文名
- Dolphin Scheduler
設計特點
其主要目標如下：
系統部分截圖
- 支持豐富的任務類型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定時調度、依賴調度、手動調度、手動暫停/停止/恢復，同時支持失敗重試/告警、從指定節點恢復失敗、Kill任務等操作
系統部分截圖
- 支持工作流全局參數及節點自定義參數設置
- 支持資源文件的在線上傳/下載，管理等，支持在線文件創建、編輯
- 支持任務日誌在線查看及滾動、在線下載日誌等
- 實現集羣HA，通過Zookeeper實現Master集羣和Worker集羣去中心化
- 支持對`Master/Worker` cpu load，memory，cpu在線查看
- 支持工作流運行歷史樹形/甘特圖展示、支持任務狀態統計、流程狀態統計
- 支持補數
- 支持多租户
- 支持國際化
Easy Scheduler
[4]
使用了很多優秀的開源項目，比如google的guava、guice、grpc，netty，ali的bonecp，quartz,以及apache的眾多開源項目等等！
- 參考資料
-
- 1. DolphinScheduler proposal ．apache官網[引用日期2020-04-20]
- 2. DolphinScheduler incubator status ．apache官網[引用日期2020-04-20]
- 3. DolphinScheduler official website ．DolphinScheduler官網[引用日期2020-04-20]
- 4. dolphinscheduler repository ．dolphinscheduler's repository url[引用日期2020-04-20]
