浪浪山下那个村 👋🏼

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。 当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。 详细参见：https://github.com/zeekling/yarnRmTester

简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManagerImpl类实现，具体代码可以参考当前类。 初始化 初始化主要分为两部分： ContainerManagerImpl实例的构造函数和serviceInit函数。 构造函数 当前函数为构造函数，主要初始化必须要的一些变量等。 dispatcher ： 事件的中央调度器，主要用于管理单个Container的生命周期。在当前函数里面会通过dispatcher.register()注册支持的事件。 containersLauncher： 主要用于启动Container，可以通过配置项yarn.nodemanager.containers-launcher.class指定。默认为containersLauncher.class serviceInit函数 主要是服务启动时的初始化函数，ContainerManager在NodeManager内部属于一个服务。所以初始化的时候会调....

作业启动 作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit()，主要如下： public void submit() throws IOException, InterruptedException, ClassNotFoundException { ensureState(JobState.DEFINE); setUseNewAPI(); connect(); final JobSubmitter submitter = getJobSubmitter(cluster.getFileSystem(), cluster.getClient()); status = ugi.doAs(new PrivilegedExceptionAction<JobStatus>() { public JobStatus run() throws IOException, InterruptedException, ClassNotFoundEx....

作业提交流程 Yarn 调度器 先进先出调度器 容量调度器 分配算法 公平调度器 调度原理 缺额 资源分配方式 样例 : DRF策略