Journal 源码详解
 浏览 143 大数据

Journal 源码详解

简介 Active Namenode与StandBy Namenode之间的绿色区域就是JournalNode,当然数量不一定只有1个,作用相当于NFS共享文件系统.Active Namenode往里写editlog数据,StandBy再从里面读取数据进行 ......
阅读更多
distributedShell 样例源码详解
 浏览 664 大数据

distributedShell 样例源码详解

简介 distributedShell是Yarn自带的应用程序，和MR类似，当前工具可以用来对Yarn进行压测。 使用示例 参考命令如下： ./bin/hadoop jar ./share/hadoop/yarn/hadoop-yarn-applicati ......
阅读更多
HDFS 报错：Permission denied: user=dr.who, access=WRITE, inode=
 浏览 466 大数据

HDFS 报错：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01

背景 新建的HDFS使用web短上传文件的时候报错： Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01 解决 在core-site.xml中增加下面配置,其中hadoop01 ......
阅读更多
DistCp源码解析
 浏览 501 大数据

DistCp源码解析

说明 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Redu ......
阅读更多
leaseManager详解
 浏览 371 大数据

leaseManager详解

简介 HDFS作为一个分布式文件系统，只允许一个客户端同时对一个文件进行修改操作。租约就是为了实现独占的写操作的机制。 HDFS租约的主要实现类是LeaseManager。 Lease 的使用场景如下： 客户端在申请创建新的文件或者向文件追加都会先向N ......
阅读更多
webhdfs详解
 浏览 492 大数据

webhdfs详解

简介 hdfs提供了一种除了通过rpc的方式进行文件操作的方式之外，还提供了http的方式对文件进行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhd ......
阅读更多
【Hadoop仿真】如何在仿真NodeManager中实现心跳
 浏览 386 大数据

【Hadoop仿真】如何在仿真NodeManager中实现心跳

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。
阅读更多
Hadoop Yarn的ResourceManager压测指南
 浏览 10 大数据

Hadoop Yarn的ResourceManager压测指南

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。 当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。 详细参见：https://gith ......
阅读更多
Mapredcue作业启动
 浏览 347 大数据

Mapredcue作业启动

Mapreduce作业启动源码解析，从源码开始理解Mapreduce。
阅读更多
container-executor 详解
 浏览 223 大数据

container-executor 详解

简介 container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。 核心功能点 checks ......
阅读更多

访问最多的文章

存档

公告

分类

标签

原创 44
redis 42
转载 37
hadoop 27
机器学习 21
flink 18
源码 16
linux 11
博客 10
Java 10

访问最多的文章

存档