浪浪山下那个村
代码仓
PuaSE
我的开源
留言板
AboutMe
管理登录
2025年04月13日
浏览 636
大数据
【Hadoop仿真】如何在仿真NodeManager中实现心跳
Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。首先需要对NM进行仿真。
阅读更多
2025年04月13日
浏览 10
大数据
Hadoop Yarn的ResourceManager压测指南
Hadoop自带的hadoop-sls只能用于压测调度器，可在实际中影响ResourceManager性能的因素比较多，不能只看调度器。 当前项目可构造海量的Fake NM节点，用于模拟线上RM的巨大压力场景，进行优化。 详细参见：https://gith ......
阅读更多
2025年03月29日
浏览 616
大数据
Mapredcue作业启动
Mapreduce作业启动源码解析，从源码开始理解Mapreduce。
阅读更多
2025年03月02日
浏览 470
大数据
container-executor 详解
简介 container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。 核心功能点 checks ......
阅读更多
2024年11月04日
浏览 456
大数据
Capacity调度器源码解析
简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化调度器相关。 核心类是AsyncSc ......
阅读更多
2024年10月10日
浏览 638
大数据
router启动详解
简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Namespace，每个Namespace之 ......
阅读更多
2024年09月22日
浏览 803
大数据
hadoop 主备倒换控制器：ZKFailoverController详解
简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElector.java 主备选举 主备选举的核 ......
阅读更多
2024年09月01日
浏览 968
大数据
Hadoop 认证模块详解
客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(url, connConfigurat ......
阅读更多
2024年08月01日
浏览 982
大数据
ContainerManager详解
简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManagerImpl类实现，具体代码可以参考当前 ......
阅读更多
2024年07月21日
浏览 1.46K
大数据
BPServiceActor详解
简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处理从 namenode 收到的命令。 ......
阅读更多
上一页
下一页
1
2
3
4
访问最多的文章
32.29K浏览
debian 11 安装clang-15
24.84K浏览
博客接入Google 广告
20.59K浏览
Linux 安装常见编译工具安装
19.58K浏览
About Me
15K浏览
国产动漫详细列表
存档
2026 年 07 月
5
2026 年 06 月
2
2026 年 05 月
1
2026 年 04 月
3
2026 年 03 月
2
2025 年 12 月
2
2025 年 11 月
1
2025 年 10 月
2
2025 年 07 月
1
2025 年 06 月
3
2025 年 05 月
3
2025 年 04 月
2
2025 年 03 月
3
2024 年 12 月
1
2024 年 11 月
1
2024 年 10 月
1
2024 年 09 月
2
2024 年 08 月
1
2024 年 07 月
1
2024 年 06 月
2
2024 年 05 月
1
2024 年 04 月
1
2024 年 03 月
1
2023 年 12 月
1
2023 年 11 月
5
2023 年 10 月
2
2023 年 09 月
5
2023 年 08 月
2
2023 年 07 月
2
2023 年 05 月
5
2023 年 04 月
2
2023 年 02 月
1
2023 年 01 月
4
2022 年 12 月
3
2022 年 11 月
3
2022 年 08 月
1
2022 年 07 月
2
2022 年 05 月
1
2022 年 04 月
1
2022 年 02 月
1
2022 年 01 月
1
2021 年 12 月
1
2021 年 11 月
2
2021 年 10 月
0
2021 年 08 月
1
2021 年 05 月
1
2021 年 04 月
2
2021 年 03 月
1
2021 年 02 月
0
2021 年 01 月
1
2020 年 12 月
1
2020 年 11 月
14
2020 年 10 月
4
2020 年 09 月
8
2020 年 08 月
5
2020 年 07 月
5
2020 年 06 月
4
2020 年 05 月
9
2020 年 04 月
13
2020 年 03 月
4
2020 年 02 月
3
2020 年 01 月
5
2019 年 12 月
6
2019 年 11 月
2
2019 年 10 月
1
2019 年 09 月
5
2019 年 08 月
6
2019 年 07 月
2
2019 年 06 月
1
浪浪山下那个村
应无所住，而生其心。
文章
191
评论
353
浏览
242.77w
公告
转载请注明转载自"浪浪山旁那个村"
本网站由
提供CDN加速
本网站由提供OHTTPS提供自动部署证书
分类
编程语言
16
大数据
65
数据库
38
生活相关
3
AI相关
25
读书+追剧
3
博客相关
14
其他
26
标签
原创
44
redis
42
转载
37
hadoop
31
机器学习
21
flink
18
源码
16
linux
11
Java
11
博客
10
访问最多的文章
32,286浏览
debian 11 安装clang-15
24,839浏览
博客接入Google 广告
20,587浏览
Linux 安装常见编译工具安装
19,576浏览
About Me
15,001浏览
国产动漫详细列表
存档
2026 年 07 月
5
2026 年 06 月
2
2026 年 05 月
1
2026 年 04 月
3
2026 年 03 月
2
2025 年 12 月
2
2025 年 11 月
1
2025 年 10 月
2
2025 年 07 月
1
2025 年 06 月
3
2025 年 05 月
3
2025 年 04 月
2
2025 年 03 月
3
2024 年 12 月
1
2024 年 11 月
1
2024 年 10 月
1
2024 年 09 月
2
2024 年 08 月
1
2024 年 07 月
1
2024 年 06 月
2
2024 年 05 月
1
2024 年 04 月
1
2024 年 03 月
1
2023 年 12 月
1
2023 年 11 月
5
2023 年 10 月
2
2023 年 09 月
5
2023 年 08 月
2
2023 年 07 月
2
2023 年 05 月
5
2023 年 04 月
2
2023 年 02 月
1
2023 年 01 月
4
2022 年 12 月
3
2022 年 11 月
3
2022 年 08 月
1
2022 年 07 月
2
2022 年 05 月
1
2022 年 04 月
1
2022 年 02 月
1
2022 年 01 月
1
2021 年 12 月
1
2021 年 11 月
2
2021 年 10 月
0
2021 年 08 月
1
2021 年 05 月
1
2021 年 04 月
2
2021 年 03 月
1
2021 年 02 月
0
2021 年 01 月
1
2020 年 12 月
1
2020 年 11 月
14
2020 年 10 月
4
2020 年 09 月
8
2020 年 08 月
5
2020 年 07 月
5
2020 年 06 月
4
2020 年 05 月
9
2020 年 04 月
13
2020 年 03 月
4
2020 年 02 月
3
2020 年 01 月
5
2019 年 12 月
6
2019 年 11 月
2
2019 年 10 月
1
2019 年 09 月
5
2019 年 08 月
6
2019 年 07 月
2
2019 年 06 月
1