浪浪山下那个村
浪浪山下那个村
PuaSE
我的开源
留言板
AboutMe
管理登录
2024年05月26日
浏览 1.77K
大数据
【Hadoop】jobhistory 作业缓存源码详解
jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓存，默认情况下guava的缓存个数是 ......
阅读更多
2024年04月25日
浏览 2.06K
大数据
【Hadoop】NameNode客户端协议详解
NameNode客户端协议详解 协议的定义主要在类NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, Dat ......
阅读更多
2024年03月31日
浏览 2.2K
大数据
【Hadoop】FSDirectory详解
Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory类来管理的。 FSNamesyste ......
阅读更多
2023年12月07日
浏览 2.48K
大数据
【Hadoop】Yarn 作业启动源码解读
作业启动 作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit()，主要如下： public void subm ......
阅读更多
2023年11月29日
浏览 2.49K
大数据
【Hadoop】【持续更新】hdfs 常见命令
常见命令记录，总结篇
阅读更多
2023年11月28日
浏览 1.86K
大数据
【Hadoop】Yarn 状态机以及事件机制
简介 Yarn采用了基于事件驱动的并发模型： 所有状态机都实现了EventHandler接口，很多服务（类名通常带有Service后缀）也实现了该接口，它们都是事件处理器。 需要异步处理的事件由中央异步调度器（类名通常带有Dispatcher后缀）统一接 ......
阅读更多
2023年11月25日
浏览 2.49K
大数据
【Hadoop】ResourceManager简介
简介 ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成： 调度器：根据容量、队列限制条件将系统资源分配给各个应用。 资源分配的单位是container，container是一个动态资源单 ......
阅读更多
2023年11月05日
浏览 2.33K
大数据
【Hadoop】nameNode启动过程源码分析
简介 本章详细介绍NameNode启动过程。主要是代码级别的解释。 nameNode的启动主要是有NameNode.java主导的，由main函数开始了解。 下面是main函数里面的主要内容，可以看到主要由createNameNode实现NameNode的 ......
阅读更多
2023年11月04日
浏览 1.68K
大数据
【Hadoop】NameNode 详解
简介 NameNode管理着整个HDFS文件系统的元数据。 从架构设计上看，元数据大致分成两个层次：Namespace管理层，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系； 块管理层，负责管理文件系统中文件的物理块与实际存储位置的映射关系Bl ......
阅读更多
2023年10月22日
浏览 1.66K
大数据
【Hadoop】Yarn 详解
作业提交流程 Yarn 调度器 先进先出调度器 容量调度器 分配算法 公平调度器 调度原理 缺额 资源分配方式 样例 : DRF策略
阅读更多
上一页
下一页
1
2
3
4
5
6
7
8
9
10
访问最多的文章
32.34K浏览
debian 11 安装clang-15
24.98K浏览
博客接入Google 广告
20.66K浏览
Linux 安装常见编译工具安装
19.88K浏览
About Me
15.13K浏览
国产动漫详细列表
存档
2026 年 07 月
6
2026 年 06 月
2
2026 年 05 月
1
2026 年 04 月
3
2026 年 03 月
2
2025 年 12 月
2
2025 年 11 月
1
2025 年 10 月
2
2025 年 07 月
1
2025 年 06 月
3
2025 年 05 月
3
2025 年 04 月
2
2025 年 03 月
3
2024 年 12 月
1
2024 年 11 月
1
2024 年 10 月
1
2024 年 09 月
2
2024 年 08 月
1
2024 年 07 月
1
2024 年 06 月
2
2024 年 05 月
1
2024 年 04 月
1
2024 年 03 月
1
2023 年 12 月
1
2023 年 11 月
5
2023 年 10 月
2
2023 年 09 月
5
2023 年 08 月
2
2023 年 07 月
2
2023 年 05 月
5
2023 年 04 月
2
2023 年 02 月
1
2023 年 01 月
4
2022 年 12 月
3
2022 年 11 月
3
2022 年 08 月
1
2022 年 07 月
2
2022 年 05 月
1
2022 年 04 月
1
2022 年 02 月
1
2022 年 01 月
1
2021 年 12 月
1
2021 年 11 月
2
2021 年 10 月
0
2021 年 08 月
1
2021 年 05 月
1
2021 年 04 月
2
2021 年 03 月
1
2021 年 02 月
0
2021 年 01 月
1
2020 年 12 月
1
2020 年 11 月
14
2020 年 10 月
4
2020 年 09 月
8
2020 年 08 月
5
2020 年 07 月
5
2020 年 06 月
4
2020 年 05 月
9
2020 年 04 月
13
2020 年 03 月
4
2020 年 02 月
3
2020 年 01 月
5
2019 年 12 月
6
2019 年 11 月
2
2019 年 10 月
1
2019 年 09 月
5
2019 年 08 月
6
2019 年 07 月
2
2019 年 06 月
1
浪浪山下那个村
应无所住，而生其心。
文章
192
评论
354
浏览
246.93w
公告
转载请注明转载自"浪浪山旁那个村"
本网站由
提供CDN加速
本网站由提供OHTTPS提供自动部署证书
分类
编程语言
16
大数据
66
数据库
38
生活相关
3
AI相关
25
读书+追剧
3
博客相关
14
其他
26
标签
原创
44
redis
42
转载
37
hadoop
32
机器学习
21
flink
18
源码
16
linux
11
Java
11
博客
10
访问最多的文章
32,341浏览
debian 11 安装clang-15
24,979浏览
博客接入Google 广告
20,658浏览
Linux 安装常见编译工具安装
19,879浏览
About Me
15,127浏览
国产动漫详细列表
存档
2026 年 07 月
6
2026 年 06 月
2
2026 年 05 月
1
2026 年 04 月
3
2026 年 03 月
2
2025 年 12 月
2
2025 年 11 月
1
2025 年 10 月
2
2025 年 07 月
1
2025 年 06 月
3
2025 年 05 月
3
2025 年 04 月
2
2025 年 03 月
3
2024 年 12 月
1
2024 年 11 月
1
2024 年 10 月
1
2024 年 09 月
2
2024 年 08 月
1
2024 年 07 月
1
2024 年 06 月
2
2024 年 05 月
1
2024 年 04 月
1
2024 年 03 月
1
2023 年 12 月
1
2023 年 11 月
5
2023 年 10 月
2
2023 年 09 月
5
2023 年 08 月
2
2023 年 07 月
2
2023 年 05 月
5
2023 年 04 月
2
2023 年 02 月
1
2023 年 01 月
4
2022 年 12 月
3
2022 年 11 月
3
2022 年 08 月
1
2022 年 07 月
2
2022 年 05 月
1
2022 年 04 月
1
2022 年 02 月
1
2022 年 01 月
1
2021 年 12 月
1
2021 年 11 月
2
2021 年 10 月
0
2021 年 08 月
1
2021 年 05 月
1
2021 年 04 月
2
2021 年 03 月
1
2021 年 02 月
0
2021 年 01 月
1
2020 年 12 月
1
2020 年 11 月
14
2020 年 10 月
4
2020 年 09 月
8
2020 年 08 月
5
2020 年 07 月
5
2020 年 06 月
4
2020 年 05 月
9
2020 年 04 月
13
2020 年 03 月
4
2020 年 02 月
3
2020 年 01 月
5
2019 年 12 月
6
2019 年 11 月
2
2019 年 10 月
1
2019 年 09 月
5
2019 年 08 月
6
2019 年 07 月
2
2019 年 06 月
1