DistCp源码解析
 浏览 431 大数据

DistCp源码解析

说明 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Redu ......
阅读更多
leaseManager详解
 浏览 307 大数据

leaseManager详解

简介 HDFS作为一个分布式文件系统，只允许一个客户端同时对一个文件进行修改操作。租约就是为了实现独占的写操作的机制。 HDFS租约的主要实现类是LeaseManager。 Lease 的使用场景如下： 客户端在申请创建新的文件或者向文件追加都会先向N ......
阅读更多
webhdfs详解
 浏览 412 大数据

webhdfs详解

简介 hdfs提供了一种除了通过rpc的方式进行文件操作的方式之外，还提供了http的方式对文件进行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhd ......
阅读更多
【Hadoop仿真】如何在仿真NodeManager中实现心跳
 浏览 345 大数据

【Hadoop仿真】如何在仿真NodeManager中实现心跳

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。
阅读更多
Hadoop Yarn的ResourceManager压测指南
 浏览 10 大数据

Hadoop Yarn的ResourceManager压测指南

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。 当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。 详细参见：https://gith ......
阅读更多
Mapredcue作业启动
 浏览 326 大数据

Mapredcue作业启动

Mapreduce作业启动源码解析，从源码开始理解Mapreduce。
阅读更多
container-executor 详解
 浏览 199 大数据

container-executor 详解

简介 container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。 核心功能点 checks ......
阅读更多
Capacity调度器源码解析
 浏览 223 大数据

Capacity调度器源码解析

简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化调度器相关。 核心类是AsyncSc ......
阅读更多
router启动详解
 浏览 391 大数据

router启动详解

简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Namespace，每个Namespace之 ......
阅读更多
hadoop 主备倒换控制器：ZKFailoverController详解
 浏览 495 大数据

hadoop 主备倒换控制器：ZKFailoverController详解

简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElector.java 主备选举 主备选举的核 ......
阅读更多

访问最多的文章

存档

公告

分类

标签

原创 44
redis 42
转载 37
hadoop 27
机器学习 21
flink 18
源码 16
linux 11
博客 10
Java 10

访问最多的文章

存档