新建设电影院 网站,it运维需要学哪些知识,做中英双语切换的网站,建设信息港查询主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成#xff0c;如图所YA示。 ResourceManager#xff08;RM#xff09;
RM是全局资源管理器#xff0c;负责整个系统的资源管理和分配
主要由两个组件构成#xff1a;Scheduler调度器和应用程序…主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成如图所YA示。 ResourceManagerRM
RM是全局资源管理器负责整个系统的资源管理和分配
主要由两个组件构成Scheduler调度器和应用程序管理器AM
Scheduler调度器
调度器根据容量、队列等限制条件将系统中的资源分配给各个正在运行的应用程序,不负责具体应用程序相关的工作比如监控或跟踪状态,不负责重新启动失败任务,资源分配单位用“资源容器”Resource Container表示。
Container是一个动态资源分配单位它将内存、CPU、磁盘、网络等资源封装在一起从而限定每个任务的资源量,调度器是一个可拔插的组件用户可以自行设计,YARN提供了多种直接可用的调度器比如Fair Scheduler和Capacity Scheduler等。
应用程序管理器
负责管理整个系统中所有应用程序
ApplicationMaterAM
用户提交的每个应用程序均包含一个AM
AM主要功能:与RM调度器协商以获取资源用Container表示,将得到的任务进一步分配给内部的任务
与NM通信以启动/停止任务
监控所有任务运行状态并在任务运行失败时重新为任务申请资源以重启任务
当前YARN自带了两个AM实现
一个用于演示AM编写方法的示例程序distributedshell
一个运行MapReduce程序—MRAppMaster
NodeManagerNM
NM是每个节点上的资源和任务管理器
定时向RM汇报本节点上的资源使用情况和各个Container的运行状态
接收并处理来自AM的Container启动/停止等各种请求
Container
Container是YARN中的资源抽象它封装了某个节点上的多维度资源如内存、CPU、磁盘、网络等。
YARN会为每个任务分配一个Container且该任务只能使用该Container中描述的资源。
Container不同于MR中的slot它是一个动态资源划分单位是根据应用程序的需求动态生成的
