leaseManager详解
 浏览 472 大数据

leaseManager详解

简介 HDFS作为一个分布式文件系统，只允许一个客户端同时对一个文件进行修改操作。租约就是为了实现独占的写操作的机制。 HDFS租约的主要实现类是LeaseManager。 Lease 的使用场景如下： 客户端在申请创建新的文件或者向文件追加都会先向N ......
阅读更多
webhdfs详解
 浏览 659 大数据

webhdfs详解

简介 hdfs提供了一种除了通过rpc的方式进行文件操作的方式之外，还提供了http的方式对文件进行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhd ......
阅读更多
Hadoop Yarn的ResourceManager压测指南
 浏览 10 大数据

Hadoop Yarn的ResourceManager压测指南

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。 当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。 详细参见：https://gith ......
阅读更多
【Hadoop仿真】如何在仿真NodeManager中实现心跳
 浏览 431 大数据

【Hadoop仿真】如何在仿真NodeManager中实现心跳

Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。
阅读更多
Mapredcue作业启动
 浏览 392 大数据

Mapredcue作业启动

Mapreduce作业启动源码解析，从源码开始理解Mapreduce。
阅读更多
Gitea 自建代码仓流量大坑
 浏览 709 博客相关

Gitea 自建代码仓流量大坑

背景 前端时间租的腾讯云服务器是按照流量计费的，最近一段时间流量走的老快了，并且发现默认1G的带宽老是卡。 原因 通过分析nginx的日志发现有大量的爬虫在大批量的访问代码仓。导致占用了大量带宽。 解决 nginx中过滤爬虫 在nginx中配置下面信息，过 ......
阅读更多
container-executor 详解
 浏览 258 大数据

container-executor 详解

简介 container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。 核心功能点 checks ......
阅读更多
Idea Hadoop 源码YarnServiceProtos无法补全问题
 浏览 385 其他

Idea Hadoop 源码YarnServiceProtos无法补全问题

问题现象 使用IDEA打开Hadoop源码之后，发现YarnServiceProtos部分代码无法补全，已经安装了protobuf相关的插件。 原因以及解决方法 再打开YarnServiceProtos文件的时候会提示类似文件过大无法打开的文字，所以可能是 ......
阅读更多
Capacity调度器源码解析
 浏览 273 大数据

Capacity调度器源码解析

简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化调度器相关。 核心类是AsyncSc ......
阅读更多
router启动详解
 浏览 445 大数据

router启动详解

简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Namespace，每个Namespace之 ......
阅读更多

访问最多的文章

存档

公告

分类

标签

原创 44
redis 42
转载 37
hadoop 29
机器学习 21
flink 18
源码 16
linux 11
博客 10
Java 10

访问最多的文章

存档