Argus：基于RDMA的大數據作業調度系統

作業調度是大數據處理系統中的核心問題。在現有的大數據處理系統中，一個作業通常被抽象為一個DAG圖，其中一個頂點代表一個計算階段，而一條邊代表計算階段之間的數據傳輸。每條邊同時也代表著階段之間的依賴關系，即一個階段必須等到它所依賴的所有階段都完成才能開始執行。通常每個計算階段都包含許多相同的任務，這些任務可以并行執行以充分利用系統資源。

現有的調度系統通常認為數據傳輸是制約系統性能的瓶頸，它們從而通過優化網絡傳輸來提升系統性能。然而，現如今遠程內存直接訪問（RDMA）技術被廣泛使用。在RDMA網絡下，數據傳輸不再是制約系統性能的問題，而計算資源利用率則直接影響系統的性能。雖然現在也有一些調度系統針對提升計算資源利用率做優化，但它們都需要提前獲得作業運行時信息，而這種信息通常是無法提前準確獲取的。同時，作業執行過程中存在多個計算階段可以同時調度的情況，不當的調度順序會造成有空閑計算資源而沒有任務可調度的情況，進而導致計算資源利用率低下。

針對以上問題，指出找到作業的可并行計算階段間的最優調度順序，才能避免有空閑計算資源而沒有可調度任務的情況。首先，通過分析計算階段之間的依賴關系，確定計算階段的優先級，提出了一種依賴感知的作業調度方法。其次，設計了基于RDMA非對稱性的數據傳輸機制。實際測試結果表明，Argus相比國際上最新系統，將作業完成時間降低了38%，系統資源利用率提升了20%。

Argus系統已開源，相應論文成果“Argus: Efficient Job Scheduling in RDMA-assisted Big Data Processing”被IEEE International Parallel and Distributed Processing Symposium (IPDPS)錄用。該成果與華為公司開展了大數據系統的技術合作。

• 論文原文：
• https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9460510
• 系統開源：
• https://github.com/CGCL-codes/Argus

背景與問題

自大數據應用興起后，大數據處理系統，如Hadoop和Spark等，被廣泛應用到學術界和工業界中。對大數據處理作業進行高效的調度是大數據處理系統中的關鍵問題。

在大數據處理系統中，一個作業通常被抽象為一個DAG圖，其中一個頂點代表一個計算階段，而一條邊代表兩個計算階段之間的數據傳輸與依賴關系。每個計算階段都包含許多相同的任務，這些任務可以并行執行以充分利用系統資源。給定一個DAG作業和計算集群，調度器需要把任務分配到可用的機器上執行。調度器在調度過程中需要考慮許多因素，如階段間依賴關系、計算資源利用率和數據的網絡傳輸。

現有的調度系統通常是基于TCP/IP網絡，它們認為數據傳輸是制約系統性能的瓶頸。因此，它們通過優化網絡傳輸來提升系統性能，如提升任務的數據本地性，降低shuffle傳輸負載等。最近，遠程內存直接訪問（RDMA）技術被廣泛地應用到了各種數據中心中。RDMA有著高吞吐、低延遲、低CPU占用的特性。在RDMA網絡下，數據傳輸不再是制約系統性能的問題，計算資源利用率則直接影響系統的性能。然而，現有極少的基于RDMA的大數據處理系統僅僅使用RDMA加速網絡傳輸，并沒有設計相應的作業調度機制。另一方面，現有的優化計算資源利用率的系統都不能很好地在RDMA系統上工作，且他們都需要提前獲得準確的作業運行時信息，而這種信息通常是無法提前準確獲取的。

研究小組對真實Alibaba作業和TPC-DS測試集進行了分析，揭示了作業執行過程中存在多個計算階段可以同時調度的情況（如圖1所示）。作業執行過程中，如果有n個階段可以并行執行，那么調度系統就有n!種可能的調度順序。不當的調度順序會造成有空閑計算資源而沒有任務可調度的情況，進而導致系統計算資源利用率低下。

圖1 真實作業中計算階段和可并行執行階段數

設計與實現

為了解決現有的RDMA系統中計算資源利用率低的問題，研究小組指出只有找到作業的可并行計算階段間的最優調度順序，才能避免有空閑計算資源而沒有可調度任務的情況。然而，在作業真正運行之前，調度系統對作業信息的了解是非常有限的，通常只知道作業的DAG圖，即計算階段之間的依賴關系。因此研究小組仔細分析了作業的DAG結構，設計了一個依賴感知的作業調度機制。每當系統有空閑計算資源時，它都會優先調度那些完成后可以使更多階段被調度的階段。基于此，研究小組研發了基于RDMA的大數據作業調度系統Argus，其系統架構如圖2所示。Argus主要包含兩個模塊，一個是階段依賴感知的調度模塊，負責確定任務優先級并調度任務。另一個是模式感知的RDMA傳輸模塊，根據上下游任務間傳輸模式的不同選擇適當的RDMA傳輸方式。

圖2 Argus系統結構

通過對作業DAG圖的觀察分析，研究小組發現有兩個因素影響計算階段的調度順序，分別是階段深度和子階段個數。為了充分利用計算階段的這兩個特征，研究小組在Alibaba真實作業上使用了模擬退火算法，確定了深度和子階段個數這兩個因素對階段優先級的影響權重。基于這個權重，在調度作業時首先計算不同階段的優先級，并根據優先級調度可并行執行階段。同時，對于計算出的優先級相同的階段，在執行過程中通過動態調整，優先執行時間較長的階段以提升資源利用率。在計算任務調度完成后，任務之間的數據通過RDMA進行傳輸。由于RDMA的非對稱性，發出RDMA請求比接收RDMA請求需要消耗更多的計算資源。研究小組設計了一種模式感知的RDMA傳輸機制，針對不同的上下游任務之間的傳輸關系，把發出RDMA請求這種開銷大的操作平攤到不同節點上，避免了由于RDMA傳輸造成的負載不均。

基于真實系統數據的大規模實驗結果表明，相比國際上最新系統，將作業完成時間降低了38%，系統資源利用率提升了20%，如圖3所示。

圖3 Argus性能對比

參考文獻：

Sijie Wu, Hanhua Chen*, Yonghui Wang, Hai Jin, "Argus: Efficient Job Scheduling in RDMA-assisted Big Data Processing,” Proceedings of the 35th IEEE International Parallel and Distributed Processing Symposium (IPDPS 2021), Portland, Oregon, USA (online), May 17-21, 2021.