我在 GitHub 上的开源项目
 浏览 35

我在 GitHub 上的开源项目

Github Stats 所有开源项目 仓库 项目简介 Stars fork 编程语言 hadoop_book Hadoop 学习笔记。 3 0 flink_book Flink学习笔记，持续更新。。。 2 0 bolo-fantastic 基于官方的bo ......
阅读更多
Journal 源码详解
 浏览 55 大数据

Journal 源码详解

简介 Active Namenode与StandBy Namenode之间的绿色区域就是JournalNode,当然数量不一定只有1个,作用相当于NFS共享文件系统.Active Namenode往里写editlog数据,StandBy再从里面读取数据进行 ......
阅读更多
Zookeeper启动源码详解
 浏览 442 大数据

Zookeeper启动源码详解

简介 启动源码分析 Zookeeper启动的主类为QuorumPeerMain.java 。入口函数文为initializeAndRun，如下所示，在往下的核心函数为runFromConfig。 QuorumPeerMain main = new Quo ......
阅读更多
用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见
 浏览 511 大数据

用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见

问题现象 用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见。 问题原因 Zookeeper-server下面的pom.xml 里面引用jar的时候加了<scope>provided&l ......
阅读更多
distributedShell 样例源码详解
 浏览 581 大数据

distributedShell 样例源码详解

简介 distributedShell是Yarn自带的应用程序，和MR类似，当前工具可以用来对Yarn进行压测。 使用示例 参考命令如下： ./bin/hadoop jar ./share/hadoop/yarn/hadoop-yarn-applicati ......
阅读更多
HDFS 报错：Permission denied: user=dr.who, access=WRITE, inode=
 浏览 394 大数据

HDFS 报错：Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01

背景 新建的HDFS使用web短上传文件的时候报错： Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01 解决 在core-site.xml中增加下面配置,其中hadoop01 ......
阅读更多
DistCp源码解析
 浏览 407 大数据

DistCp源码解析

说明 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Redu ......
阅读更多
leaseManager详解
 浏览 292 大数据

leaseManager详解

简介 HDFS作为一个分布式文件系统，只允许一个客户端同时对一个文件进行修改操作。租约就是为了实现独占的写操作的机制。 HDFS租约的主要实现类是LeaseManager。 Lease 的使用场景如下： 客户端在申请创建新的文件或者向文件追加都会先向N ......
阅读更多
webhdfs详解
 浏览 383 大数据

webhdfs详解

简介 hdfs提供了一种除了通过rpc的方式进行文件操作的方式之外，还提供了http的方式对文件进行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhd ......
阅读更多
【Hadoop仿真】如何在仿真NodeManager中实现心跳
 浏览 338 大数据

【Hadoop仿真】如何在仿真NodeManager中实现心跳

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。
阅读更多

访问最多的文章

存档

公告

分类

标签

原创 44
redis 42
转载 37
hadoop 27
机器学习 21
flink 18
源码 16
linux 11
博客 10
Java 10

访问最多的文章

存档