大數據YARN安全體系包括以下組件:
RM組件:負責對各NM上的資源進行統一管理和調度。給AM分配空閑的Container并監控其運行狀態。對AM申請的資源請求分配相應的空閑Container。其主要由兩個組件構成:調度器和應用程序管理器。
調度器:調度器根據容量、隊列等限制條件,將系統中的資源分配給各個正在運行的應用程序。調度器僅根據各個應用程序的資源需求進行資源分配,而資源分配單位是Container,從而限定每個任務使用的資源量。
應用程序管理器:應用程序管理器負責管理整個系統中所有的應用程序,包括應用程序提交,與調度器協商資源以啟動AM,監控AM運行狀態并在失敗時重新啟動等。
NM組件:NM是每個節點上的資源和任務管理器。它會定時地向RM匯報本節點上的資源使用情況和各個Container的運行狀態;同時會接收并處理來自AM的Container啟動/停止等請求。
AM組件:用戶提交的應用程序均包含一個AM,負責應用的監控,跟蹤應用執行狀態,重啟失敗任務等。
Container組件:Container封裝了某個節點上的多維度資源,如內存、CPU、磁盤、網絡等,是YARN對資源的抽象。當AM向RM申請資源時,RM為AM返回的資源便是用Container表示的。YARN會為每個任務分配一個Container且該任務只能使用該Container中描述的資源。
回答所涉及的環境:聯想天逸510S、Windows 10。
大數據YARN安全體系包括以下組件:
RM組件:負責對各NM上的資源進行統一管理和調度。給AM分配空閑的Container并監控其運行狀態。對AM申請的資源請求分配相應的空閑Container。其主要由兩個組件構成:調度器和應用程序管理器。
調度器:調度器根據容量、隊列等限制條件,將系統中的資源分配給各個正在運行的應用程序。調度器僅根據各個應用程序的資源需求進行資源分配,而資源分配單位是Container,從而限定每個任務使用的資源量。
應用程序管理器:應用程序管理器負責管理整個系統中所有的應用程序,包括應用程序提交,與調度器協商資源以啟動AM,監控AM運行狀態并在失敗時重新啟動等。
NM組件:NM是每個節點上的資源和任務管理器。它會定時地向RM匯報本節點上的資源使用情況和各個Container的運行狀態;同時會接收并處理來自AM的Container啟動/停止等請求。
AM組件:用戶提交的應用程序均包含一個AM,負責應用的監控,跟蹤應用執行狀態,重啟失敗任務等。
Container組件:Container封裝了某個節點上的多維度資源,如內存、CPU、磁盤、網絡等,是YARN對資源的抽象。當AM向RM申請資源時,RM為AM返回的資源便是用Container表示的。YARN會為每個任務分配一個Container且該任務只能使用該Container中描述的資源。
回答所涉及的環境:聯想天逸510S、Windows 10。