資料介紹
Apache Hadoop YARN (Yet Another Resource Negotiator,另一種資源協(xié)調(diào)者)是一種新的 Hadoop 資源管理器,它是一個通用資源管理系統(tǒng),可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度,它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。
YARN的基本思想是將JobTracker的兩個主要功能(資源管理和作業(yè)調(diào)度/監(jiān)控)分離,主要方法是創(chuàng)建一個全局的ResourceManager(RM)和若干個針對應(yīng)用程序的ApplicationMaster(AM)。這里的應(yīng)用程序是指傳統(tǒng)的MapReduce作業(yè)或作業(yè)的DAG(有向無環(huán)圖)。YARN 分層結(jié)構(gòu)的本質(zhì)是 ResourceManager。這個實體控制整個集群并管理應(yīng)用程序向基礎(chǔ)計算資源的分配。ResourceManager 將各個資源部分(計算、內(nèi)存、帶寬等)精心安排給基礎(chǔ) NodeManager(YARN 的每節(jié)點代理)。ResourceManager 還與 ApplicationMaster 一起分配資源,與 NodeManager 一起啟動和監(jiān)視它們的基礎(chǔ)應(yīng)用程序。在此上下文中,ApplicationMaster 承擔(dān)了以前的 TaskTracker 的一些角色,ResourceManager 承擔(dān)了 JobTracker 的角色。ApplicationMaster 管理一個在 YARN 內(nèi)運行的應(yīng)用程序的每個實例。ApplicationMaster 負責(zé)協(xié)調(diào)來自 ResourceManager 的資源,并通過 NodeManager 監(jiān)視容器的執(zhí)行和資源使用(CPU、內(nèi)存等的資源分配)。請注意,盡管目前的資源更加傳統(tǒng)(CPU 核心、內(nèi)存),但未來會帶來基于手頭任務(wù)的新資源類型(比如圖形處理單元或?qū)S锰幚碓O(shè)備)。從 YARN 角度講,ApplicationMaster 是用戶代碼,因此存在潛在的安全問題。YARN 假設(shè) ApplicationMaster 存在錯誤或者甚至是惡意的,因此將它們當(dāng)作無特權(quán)的代碼對待。NodeManager 管理一個 YARN 集群中的每個節(jié)點。NodeManager 提供針對集群中每個節(jié)點的服務(wù),從監(jiān)督對一個容器的終生管理到監(jiān)視資源和跟蹤節(jié)點健康。MRv1 通過插槽管理 Map 和 Reduce 任務(wù)的執(zhí)行,而 NodeManager 管理抽象容器,這些容器代表著可供一個特定應(yīng)用程序使用的針對每個節(jié)點的資源。YARN 繼續(xù)使用 HDFS 層。它的主要 NameNode 用于元數(shù)據(jù)服務(wù),而 DataNode 用于分散在一個集群中的復(fù)制存儲服務(wù)。要使用一個 YARN 集群,首先需要來自包含一個應(yīng)用程序的客戶的請求。ResourceManager 協(xié)商一個容器的必要資源,啟動一個 ApplicationMaster 來表示已提交的應(yīng)用程序。通過使用一個資源請求協(xié)議,ApplicationMaster 協(xié)商每個節(jié)點上供應(yīng)用程序使用的資源容器。執(zhí)行應(yīng)用程序時,ApplicationMaster 監(jiān)視容器直到完成。當(dāng)應(yīng)用程序完成時,ApplicationMaster 從 ResourceManager 注銷其容器,執(zhí)行周期就完成了。
- 解決win10資源管理器關(guān)后電腦黑屏問題
- 移動云計算中運營商能耗資源管理模型 13次下載
- 擬態(tài)通用運行環(huán)境的資源管理調(diào)度及框架 6次下載
- 如何通過YARN設(shè)計分布式資源動態(tài)調(diào)度協(xié)同分配系統(tǒng) 12次下載
- TCMD750A應(yīng)用程序非常好的軟件比資源管理器好用得多 6次下載
- 弄個取資源管理器選中文件或文件夾名稱 11次下載
- Delphi教程_新穎的資源管理器界面 10次下載
- 基于樹形的網(wǎng)格資源管理研究
- TD-SCDMA系統(tǒng)無線資源管理
- 網(wǎng)格資源管理模型研究
- WCDMA無線資源管理綜述
- WCDMA無線資源管理
- WCDMA無線資源管理綜述
- TD-SCDMA無線資源管理
- TD-SCDMA無線資源管理算法
- 負載管理器的主要功能 393次閱讀
- 如何在層堆棧管理器中定義單層板? 844次閱讀
- 使用LABwindows/CVI軟件搭建學(xué)生管理器界面(三) 2448次閱讀
- 使用LABwindows/CVI軟件搭建學(xué)生管理器界面(二) 3154次閱讀
- 使用LABwindows/CVI軟件搭建學(xué)生管理器界面(一) 5173次閱讀
- 密鑰管理系統(tǒng)概述_密鑰管理系統(tǒng)架構(gòu)圖 1.4w次閱讀
- vscode怎么編譯運行 9.7w次閱讀
- re管理器如何修改機型 8754次閱讀
- 什么是re文件管理器_re管理器有什么用 1.8w次閱讀
- re管理器進入編輯文件方法 4735次閱讀
- re管理器刪除系統(tǒng)軟件操作方法 1.3w次閱讀
- 2g3g4g網(wǎng)絡(luò)有什么區(qū)別 4.4w次閱讀
- 衛(wèi)星頻率及軌道資源管理分析 1w次閱讀
- Linux系統(tǒng)內(nèi)存管理的特點詳解 4048次閱讀
- 計算網(wǎng)格資源管理優(yōu)化技術(shù)和相關(guān)算法研究 939次閱讀
下載排行
本周
- 1DC電源插座圖紙
- 0.67 MB | 2次下載 | 免費
- 2AN158 GD32VW553 Wi-Fi開發(fā)指南
- 1.51MB | 2次下載 | 免費
- 3AN148 GD32VW553射頻硬件開發(fā)指南
- 2.07MB | 1次下載 | 免費
- 4AN111-LTC3219用戶指南
- 84.32KB | 次下載 | 免費
- 5AN153-用于電源系統(tǒng)管理的Linduino
- 1.38MB | 次下載 | 免費
- 6AN-283: Σ-Δ型ADC和DAC[中文版]
- 677.86KB | 次下載 | 免費
- 7SM2018E 支持可控硅調(diào)光線性恒流控制芯片
- 402.24 KB | 次下載 | 免費
- 8AN-1308: 電流檢測放大器共模階躍響應(yīng)
- 545.42KB | 次下載 | 免費
本月
- 1ADI高性能電源管理解決方案
- 2.43 MB | 450次下載 | 免費
- 2免費開源CC3D飛控資料(電路圖&PCB源文件、BOM、
- 5.67 MB | 138次下載 | 1 積分
- 3基于STM32單片機智能手環(huán)心率計步器體溫顯示設(shè)計
- 0.10 MB | 130次下載 | 免費
- 4使用單片機實現(xiàn)七人表決器的程序和仿真資料免費下載
- 2.96 MB | 44次下載 | 免費
- 53314A函數(shù)發(fā)生器維修手冊
- 16.30 MB | 31次下載 | 免費
- 6美的電磁爐維修手冊大全
- 1.56 MB | 24次下載 | 5 積分
- 7如何正確測試電源的紋波
- 0.36 MB | 17次下載 | 免費
- 8感應(yīng)筆電路圖
- 0.06 MB | 10次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935121次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計
- 1.48MB | 420062次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233088次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191367次下載 | 10 積分
- 5十天學(xué)會AVR單片機與C語言視頻教程 下載
- 158M | 183335次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81581次下載 | 10 積分
- 7Keil工具MDK-Arm免費下載
- 0.02 MB | 73810次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65988次下載 | 10 積分
評論
查看更多