container-executor 详解
 浏览 245 大数据

container-executor 详解

简介 container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。 核心功能点 checks ......
阅读更多
Capacity调度器源码解析
 浏览 260 大数据

Capacity调度器源码解析

简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化调度器相关。 核心类是AsyncSc ......
阅读更多
router启动详解
 浏览 432 大数据

router启动详解

简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Namespace，每个Namespace之 ......
阅读更多
hadoop 主备倒换控制器：ZKFailoverController详解
 浏览 525 大数据

hadoop 主备倒换控制器：ZKFailoverController详解

简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElector.java 主备选举 主备选举的核 ......
阅读更多
Hadoop 认证模块详解
 浏览 774 大数据

Hadoop 认证模块详解

客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(url, connConfigurat ......
阅读更多
ContainerManager详解
 浏览 655 大数据

ContainerManager详解

简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManagerImpl类实现，具体代码可以参考当前 ......
阅读更多
BPServiceActor详解
 浏览 1.13K 大数据

BPServiceActor详解

简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处理从 namenode 收到的命令。 ......
阅读更多
【Hadoop】jobhistory 作业缓存源码详解
 浏览 1.5K 大数据

【Hadoop】jobhistory 作业缓存源码详解

jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓存，默认情况下guava的缓存个数是 ......
阅读更多
【Hadoop】NameNode客户端协议详解
 浏览 1.57K 大数据

【Hadoop】NameNode客户端协议详解

NameNode客户端协议详解 协议的定义主要在类NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, Dat ......
阅读更多
【Hadoop】FSDirectory详解
 浏览 1.93K 大数据

【Hadoop】FSDirectory详解

Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory类来管理的。 FSNamesyste ......
阅读更多

访问最多的文章

存档

公告

分类

标签

原创 44
redis 42
转载 37
hadoop 28
机器学习 21
flink 18
源码 16
linux 11
博客 10
Java 10

访问最多的文章

存档