主流的overlay技術有哪些協議?
Ov:VXLAN是一種隧道轉發,在UDP傳輸層封裝以太網報文,目的UDP端口號為4798。為了使VXLAN充分利用承載網路由的平衡,VXLAN使用了原以太網頭的哈希值(MAC,IP,四層端口號等。)作為UDP號;用24位來標識二層網段稱為VNI(VXLAN網絡標識符),類似于VLANID。未知目的地、廣播、組播等網絡流量封裝為組播轉發,要求物理網絡支持任意源組播(ASM)。
2)nvgr:nvgr
YARN到底是怎么一回事?
紗線編程模型
1.為了保證編程模型的向下兼容性,MRv2重用了MRv1的編程模型和數據處理引擎,但運行環境被重寫。
2.編程模型和數據處理引擎mapreduce應用程序之間有兩套編程接口:新API(mapred)和舊API(mapreduc:Jobracker和Tasktrack:YARN和ApplicationMasterYARN主要由ResourceManager、NodeManager、ApplicationMaster、Container等幾個組件組成。ResourceManager(RM)RM是一個全局資源管理器,負責整個系統的資源管理和分配。它主要由兩個組件組成:調度程序和應用程序管理器(ASM)調度程序。調度程序基于容量、隊列等。約束,將系統中的資源分配給正在運行的應用程序,不負責特定應用程序的相關工作,如監控或跟蹤狀態,也不負責重新啟動失敗的任務。資源分配單元使用"資源容器和指示容器是一個動態資源分配單元,它封裝了內存、CPU、磁盤和網絡等資源。所以每個任務的資源調度器都是一個可的組件,用戶可以自己設計。YARN提供了各種直接可用的調度器,如公平調度器和容量調度器。應用程序管理員負責管理整個系統中的所有應用程序。ApplicationMaster(AM)用戶提交的每個應用程序都包含一個AMAM。主要功能是與RMscheduler協商獲取資源(用容器表示),并進一步將獲取的任務分配給內部任務,與NM通信自動/停止任務,監控所有任務的運行狀態。并且當任務運行失敗時,重新為任務申請資源以重啟任務。目前,YARN附帶了兩個am來實現一個演示AM編寫方法的示例程序,一個Mapreduce程序的分布式shell-MRAppMaster。對應其他計算框架的AM正在開發中,比如spark。Nodemanager(NM)和ContainerNM是每個節點上的資源和任務管理器,定期向RM報告本節點上的資源使用情況和每個容器的運行狀態,接收和處理來自AM的容器啟動/停止等各種請求。容器是紗線中的一種資源抽象。它封裝了一個節點上的多維資源。YARN會給每個任務分配一個容器,只有容器中描述的資源容器可以用來改變任務。它是一個動態的資源劃分單元。YARN是根據應用的需求動態生成的,主要由以下協議組成:ApplicationClientProtocol作業客戶端通過RPC協議提交應用程序,查詢應用狀態等。ResourceManagementProtocolAdmin通過該協議更新系統配置文件,如節點黑名單、用戶隊列權限等。ApplicationMasterProtocolAM希望RM通過RPC協議注冊和注銷自己,為每個任務申請資源。ContainerManagementProtocolAM通過n的要求。m啟動或停止容器,獲取每個容器的使用狀態和其他信息。ResourceTrackerNM通過RPC協議向RM注冊,定期發送心跳信息,報告當前節點的資源使用情況和容器的運行狀態。紗線與紡織品。;的工作流文本描述了這個過程:1.客戶提交申請,RMamp提交的申請內容是什么?;接受申請請求后的sASM:a:applicationmast:;啟動應用程序的命令masterc:;自己的應用內容2:提交三部分給R.M,然后RM找NodeManager,然后Nodemanager啟用Applicationmast:,但它需要資源來執行任務,所以我們必須向RM它將向RM注冊,比如說我已經開始了。注冊后,我可以通過RM管理它,我們的用戶也可以通過RM的網絡客戶端。)ASM只負責激活APplicationMaster。注冊后,我們必須申請資源。申請資源是通過第四步。在向ResourceSch:申請資源后,它會尋找Nod:在知道自己申請了任務后會啟動任務,環境會在當前啟動前準備好。7:啟動任務后,會和APplicationmast:將向RM報告,并讓RSM注銷。然后RSM將回收資源。當然,我們是分布式的,所以我們不會只和自己的Nodemanager通信。它還將與其他節點通信。