浪浪山下那个村
代码仓
PuaSE
我的开源
留言板
AboutMe
管理登录
2025年05月16日
浏览 1.06K
大数据
webhdfs详解
简介 hdfs提供了一种除了通过rpc的方式进行文件操作的方式之外，还提供了http的方式对文件进行操作的方式：webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhd ......
阅读更多
2025年04月13日
浏览 651
大数据
【Hadoop仿真】如何在仿真NodeManager中实现心跳
Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。
阅读更多
2025年04月13日
浏览 10
大数据
Hadoop Yarn的ResourceManager压测指南
Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。 当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。 详细参见：https://gith ......
阅读更多
2025年03月29日
浏览 632
大数据
Mapredcue作业启动
Mapreduce作业启动源码解析，从源码开始理解Mapreduce。
阅读更多
2025年03月02日
浏览 496
大数据
container-executor 详解
简介 container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。 核心功能点 checks ......
阅读更多
2024年11月04日
浏览 467
大数据
Capacity调度器源码解析
简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化调度器相关。 核心类是AsyncSc ......
阅读更多
2024年10月10日
浏览 658
大数据
router启动详解
简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Namespace，每个Namespace之 ......
阅读更多
2024年09月22日
浏览 816
大数据
hadoop 主备倒换控制器：ZKFailoverController详解
简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElector.java 主备选举 主备选举的核 ......
阅读更多
2024年09月01日
浏览 994
大数据
Hadoop 认证模块详解
客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(url, connConfigurat ......
阅读更多
2024年08月01日
浏览 994
大数据
ContainerManager详解
简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManagerImpl类实现，具体代码可以参考当前 ......
阅读更多
上一页
下一页
1
2
3
4
访问最多的文章
32.3K浏览
debian 11 安装clang-15
24.87K浏览
博客接入Google 广告
20.6K浏览
Linux 安装常见编译工具安装
19.65K浏览
About Me
15.04K浏览
国产动漫详细列表
存档
2026 年 07 月
6
2026 年 06 月
2
2026 年 05 月
1
2026 年 04 月
3
2026 年 03 月
2
2025 年 12 月
2
2025 年 11 月
1
2025 年 10 月
2
2025 年 07 月
1
2025 年 06 月
3
2025 年 05 月
3
2025 年 04 月
2
2025 年 03 月
3
2024 年 12 月
1
2024 年 11 月
1
2024 年 10 月
1
2024 年 09 月
2
2024 年 08 月
1
2024 年 07 月
1
2024 年 06 月
2
2024 年 05 月
1
2024 年 04 月
1
2024 年 03 月
1
2023 年 12 月
1
2023 年 11 月
5
2023 年 10 月
2
2023 年 09 月
5
2023 年 08 月
2
2023 年 07 月
2
2023 年 05 月
5
2023 年 04 月
2
2023 年 02 月
1
2023 年 01 月
4
2022 年 12 月
3
2022 年 11 月
3
2022 年 08 月
1
2022 年 07 月
2
2022 年 05 月
1
2022 年 04 月
1
2022 年 02 月
1
2022 年 01 月
1
2021 年 12 月
1
2021 年 11 月
2
2021 年 10 月
0
2021 年 08 月
1
2021 年 05 月
1
2021 年 04 月
2
2021 年 03 月
1
2021 年 02 月
0
2021 年 01 月
1
2020 年 12 月
1
2020 年 11 月
14
2020 年 10 月
4
2020 年 09 月
8
2020 年 08 月
5
2020 年 07 月
5
2020 年 06 月
4
2020 年 05 月
9
2020 年 04 月
13
2020 年 03 月
4
2020 年 02 月
3
2020 年 01 月
5
2019 年 12 月
6
2019 年 11 月
2
2019 年 10 月
1
2019 年 09 月
5
2019 年 08 月
6
2019 年 07 月
2
2019 年 06 月
1
浪浪山下那个村
应无所住，而生其心。
文章
192
评论
354
浏览
243.76w
公告
转载请注明转载自"浪浪山旁那个村"
本网站由
提供CDN加速
本网站由提供OHTTPS提供自动部署证书
分类
编程语言
16
大数据
66
数据库
38
生活相关
3
AI相关
25
读书+追剧
3
博客相关
14
其他
26
标签
原创
44
redis
42
转载
37
hadoop
32
机器学习
21
flink
18
源码
16
linux
11
Java
11
博客
10
访问最多的文章
32,303浏览
debian 11 安装clang-15
24,873浏览
博客接入Google 广告
20,602浏览
Linux 安装常见编译工具安装
19,654浏览
About Me
15,041浏览
国产动漫详细列表
存档
2026 年 07 月
6
2026 年 06 月
2
2026 年 05 月
1
2026 年 04 月
3
2026 年 03 月
2
2025 年 12 月
2
2025 年 11 月
1
2025 年 10 月
2
2025 年 07 月
1
2025 年 06 月
3
2025 年 05 月
3
2025 年 04 月
2
2025 年 03 月
3
2024 年 12 月
1
2024 年 11 月
1
2024 年 10 月
1
2024 年 09 月
2
2024 年 08 月
1
2024 年 07 月
1
2024 年 06 月
2
2024 年 05 月
1
2024 年 04 月
1
2024 年 03 月
1
2023 年 12 月
1
2023 年 11 月
5
2023 年 10 月
2
2023 年 09 月
5
2023 年 08 月
2
2023 年 07 月
2
2023 年 05 月
5
2023 年 04 月
2
2023 年 02 月
1
2023 年 01 月
4
2022 年 12 月
3
2022 年 11 月
3
2022 年 08 月
1
2022 年 07 月
2
2022 年 05 月
1
2022 年 04 月
1
2022 年 02 月
1
2022 年 01 月
1
2021 年 12 月
1
2021 年 11 月
2
2021 年 10 月
0
2021 年 08 月
1
2021 年 05 月
1
2021 年 04 月
2
2021 年 03 月
1
2021 年 02 月
0
2021 年 01 月
1
2020 年 12 月
1
2020 年 11 月
14
2020 年 10 月
4
2020 年 09 月
8
2020 年 08 月
5
2020 年 07 月
5
2020 年 06 月
4
2020 年 05 月
9
2020 年 04 月
13
2020 年 03 月
4
2020 年 02 月
3
2020 年 01 月
5
2019 年 12 月
6
2019 年 11 月
2
2019 年 10 月
1
2019 年 09 月
5
2019 年 08 月
6
2019 年 07 月
2
2019 年 06 月
1