浪浪山下那个村 👋🏼

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。 当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。 详细参见：https://github.com/zeekling/yarnRmTester

Mapreduce作业启动源码解析，从源码开始理解Mapreduce。

简介 container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。 核心功能点 checksetup 主要是检查container-executor的配置是否ok，没有其他功能。核心代码如下： case CHECK_SETUP: //we already did this exit_code = 0; break; mount-cgroups 在配置项feature.mount-cgroup.enabled为true的时候为nodemanager挂载cgroup。核心是调用系统函数mount。下面代码中的是配置的挂载点。由命令行参数传入。 if (mount("none", mount_path, "cgroup", 0, controller) == 0) { // 挂载成功 if (mkdirs(hier_path, perms) == 0) { change_owner(hier_path, nm_uid....

简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化调度器相关。 核心类是AsyncSchedulingConfiguration，主要内容总结为：初始化异步调度器线程AsyncScheduleThread，可以初始化多个，调度支持多线程。 AsyncScheduleThread继承自Thread，核心是循环调度，调度的核心函数为schedule。 schedule函数 一般情况下，满足下面条件的节点不会被分配资源： 心跳超时的节点，心跳超时的节点一般认为是可能已经dead了。为了可靠性考虑，不给此类节点分配Container。 当前节点的状态不为RUNNING状态，不为RUNNING状态的节点是异常的，不能分配节点。 上述判断的核心实现函数为shouldSkipNodeSchedule。 资源分配方式 资源分配方式分为： 按照节点分配资源 按照标签进行分配 按照节点分配资源 随机产生一个随机数，范围是0 ~ ....

简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Namespace，每个Namespace之间是互相独立的； 单独的一个Namespace里面包含多个 NameNode，其中一个是主，剩余的是备，这个和上面我们介绍的单Namespace里面的架构是一样的。这些Namespace共同管理整个集群的数据，每个Namespace只管理一部分数据，之间互不影响。 集群中的DataNode向所有的NameNode注册，并定期向这些NameNode发送心跳和块信息，同时DataNode也会执行NameNode发送过来的命令。集群中的NameNodes共享所有DataNode的存储资源。HDFS Federation的架构如下图所示： 子模块 State Store模块 初始化 初始化是从类Router的serviceInit函数触发的。 提供开关：dfs.federation.router.store.enable，默认开启。核心实现....

简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElector.java 主备选举 主备选举的核心类是ActiveStandbyElector。在初始化的时候需要创建zk连接并且尝试在zk上面创建文件。在创建连接或者创建文件的时候都会有回调事件。 回调处理的函数主要包含： 创建node节点回调 入口函数如下： public synchronized void processResult(int rc, String path, Object ctx, String name) { // ..... } 处理流程图如下： 监控回调 入口函数如下： public synchronized void processResult(int rc, String path, Object ctx, Stat stat) { // ... } 处理流程如下： 事件回调 入口函数如下： synchronized void process....

客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(url, connConfigurator); conn.setRequestMethod(AUTH_HTTP_METHOD); conn.connect(); SPNEGO认证 对于普通的HTTP的kerberos认证(SPNEGO)，需要现在客户端登录KDC服务。核心代码在函数doSpnegoSequence里面。 首先需要登录KDC服务端： subject = new Subject(); LoginContext login = new LoginContext("", subject, null, new KerberosConfiguration()); // 登录KDC服务 login.login(); 下面主要是开始认证的时候的逻辑。核心处理逻辑流程图如下： 主要代码逻辑如下。 GSSManager gssManager = GSSManager.g....

简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManagerImpl类实现，具体代码可以参考当前类。 初始化 初始化主要分为两部分： ContainerManagerImpl实例的构造函数和serviceInit函数。 构造函数 当前函数为构造函数，主要初始化必须要的一些变量等。 dispatcher ： 事件的中央调度器，主要用于管理单个Container的生命周期。在当前函数里面会通过dispatcher.register()注册支持的事件。 containersLauncher： 主要用于启动Container，可以通过配置项yarn.nodemanager.containers-launcher.class指定。默认为containersLauncher.class serviceInit函数 主要是服务启动时的初始化函数，ContainerManager在NodeManager内部属于一个服务。所以初始化的时候会调....

简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处理从 namenode 收到的命令。 核心功能 BPServiceActor的入口函数为start函数，当前类本身为runnable接口的实现类，所以在start函数里面新建了BPServiceActor线程，并且将其启动， 所以其真实的启动函数为run() 在run函数里面主要做了连接NameNode并且注册当前DataNode的事。 与NameNode握手 首先要做的就是和NameNode建立连接，核心代码如下： bpNamenode = dn.connectToNN(nnAddr); 建立连接之后需要做的就是获取获取版本信息并且检查版本信息，如果单次获取失败会进行重试。失败之后每次的重试间隔为5s。 NamespaceInfo nsInfo = retrieveNamespaceInfo(); bpos.verifyAndSetNamespaceInfo(th....