Github Stats 所有开源项目 仓库 项目简介 Stars fork 编程语言 hadoop_book Hadoop 学习笔记。 3 0 flink_book Flink学习笔记，持续更新。。。 2 0 bolo-fantastic 基于官方的bolo-fantastic皮肤做了定制化修改，满足自己的审美。 1 1 FreeMarker c_primer_plus c primer plus 学习 1 0 C dockerFiles 日常使用dock ......

   最近十几年前的笔记本不用了，换了台式机，装了amd的显卡，为了更好的发挥显卡的性能，就不能直接将台式机安装为Linux操作系统了，但是平时主要读的代码使用windows编译老是不太习惯，于是就有了使用wsl搭建java环境的想法。

   发现自己简历被炒是一种什么样的体验。今天我就遇到了一个抄了我简历的，刷新了我的世界观。

   简介 启动源码分析 Zookeeper启动的主类为QuorumPeerMain.java 。入口函数文为initializeAndRun，如下所示，在往下的核心函数为runFromConfig。 QuorumPeerMain main = new QuorumPeerMain(); try { main.initializeAndRun(args); } catch (IllegalArgumentException e) { // 启动异常处理。 ......

   简介 Active Namenode与StandBy Namenode之间的绿色区域就是JournalNode,当然数量不一定只有1个,作用相当于NFS共享文件系统.Active Namenode往里写editlog数据,StandBy再从里面读取数据进行同步. JournalNodede 在hdfs架构中的角色： 源码解析 解读JournalNodede的原理。JN的核心功能主要包含下面几个： JN启动 读写editLog。 JN之间editLog数据 ......

   自己搭建博客的原因是现有的博客系统不满足我的要求，简单来说就是看着现有的博客系统不顺眼，现在博客主要内容就是自己平时看的书以及各种想法总结等等。还有就是希望博客上面记载的东西能够帮助到别人。

   问题现象 用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见。 问题原因 Zookeeper-server下面的pom.xml 里面引用jar的时候加了<scope>provided</scope>导致IDEA加载不到依赖的包。所以只要将其注释掉即可。 解决办法 将Zookeeper-server下面的pom.xml里面的全部的<scope>provided< ......

   简介 distributedShell是Yarn自带的应用程序，和MR类似，当前工具可以用来对Yarn进行压测。 使用示例 参考命令如下： ./bin/hadoop jar ./share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.4.1.jar \ -jar ./share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3. ......

   背景 新建的HDFS使用web短上传文件的时候报错： Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01 解决 在core-site.xml中增加下面配置,其中hadoop01为hdfs运行的用户，修改完重启hdfs即可。 <property> <name>hadoop.http.staticuser.user</name> <val ......

   说明 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的地方。 这篇文档会为常用DistCp操作提供指南并阐述它的工作模型。 源码详解 作业启动 作业的启动主要包含初始化和作业提交，在初始化阶段主要是list左右需要拷 ......

   简介 HDFS作为一个分布式文件系统，只允许一个客户端同时对一个文件进行修改操作。租约就是为了实现独占的写操作的机制。 HDFS租约的主要实现类是LeaseManager。 Lease 的使用场景如下： 客户端在申请创建新的文件或者向文件追加都会先向NameNode申请获得inode或者最后一个块的信息 在NameNode中FSNamesystem会调用recoverLeaseInternal检查文件是否是UnderConstruction，是Under ......

   简介 hdfs提供了一种除了通过rpc的方式进行文件操作的方式之外，还提供了http的方式对文件进行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhdfs的功能，具体实现有差别。 使用 文件系统URI与HTTP URL WebHDFS的文件系统方案为“ webhdfs：// ”。WebHDFS文件系统URI具有以下格式。 webhdfs://<主机 ......

   Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。

   Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。 当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。 详细参见：https://github.com/zeekling/yarnRmTester

   Mapreduce作业启动源码解析，从源码开始理解Mapreduce。