浪浪山下那个村
代码仓
PuaSE
我的开源
留言板
AboutMe
管理登录
2024年04月25日
浏览 2.02K
大数据
【Hadoop】NameNode客户端协议详解
NameNode客户端协议详解 协议的定义主要在类NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, Dat ......
阅读更多
2023年11月28日
浏览 1.82K
大数据
【Hadoop】Yarn 状态机以及事件机制
简介 Yarn采用了基于事件驱动的并发模型： 所有状态机都实现了EventHandler接口，很多服务（类名通常带有Service后缀）也实现了该接口，它们都是事件处理器。 需要异步处理的事件由中央异步调度器（类名通常带有Dispatcher后缀）统一接 ......
阅读更多
2023年11月04日
浏览 1.64K
大数据
【Hadoop】NameNode 详解
简介 NameNode管理着整个HDFS文件系统的元数据。 从架构设计上看，元数据大致分成两个层次：Namespace管理层，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系； 块管理层，负责管理文件系统中文件的物理块与实际存储位置的映射关系Bl ......
阅读更多
2023年10月22日
浏览 1.63K
大数据
【Hadoop】Yarn 详解
作业提交流程 Yarn 调度器 先进先出调度器 容量调度器 分配算法 公平调度器 调度原理 缺额 资源分配方式 样例 : DRF策略
阅读更多
2023年10月22日
浏览 1.6K
大数据
【Hadoop】HDFS 详解
简介 Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户 ......
阅读更多
2023年09月28日
浏览 1.66K
大数据
【Hadoop】Hudi 基础知识详解
Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以开源文件格式保留。 Hudi是Hadoop Upserts and Incre ......
阅读更多
2023年09月10日
浏览 1.19K
大数据
Flink Checkpoint/Savepoint对比
Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制（Savepoints）是检查点机制一种特殊的实现，它允许你通过手工方式来触发Checkpoint，并将结果持久化存储到指定路径中，主要用于避免Flink集群在 ......
阅读更多
2023年08月27日
浏览 1.28K
大数据
【Flink】【更新中】状态后端和checkpoint
状态后端和checkpoint详解，包括常见checkpoint问题处理。
阅读更多
2022年12月31日
浏览 1.48K
大数据
Flink资源调优
1. 内存设置 1.1 TaskManager 内存模型 TaskManager的内存模型如下图所示(1.10之后版本内存模型)： Flink使用了堆上内存和堆外内存。 Flink 框架内存使用了堆外内存和堆外内存，不计入slot资源。 Task执行的 ......
阅读更多
2022年07月16日
浏览 1.56K
大数据
使用Docker快速搭建Kerberos环境
Kerberos认证在大数据场景下用的比较多，特别是在Hadoop生态下，认证基本用的都是Kerberos认证。一般来讲Kerberos认证相对于其他方式的认证安全很多，同样的认证的时候性能应该差一点。 国内某著名大数据平台MapReduce服务，页叫做云 ......
阅读更多
上一页
下一页
1
2
3
4
5
6
7
访问最多的文章
32.28K浏览
debian 11 安装clang-15
24.82K浏览
博客接入Google 广告
20.58K浏览
Linux 安装常见编译工具安装
19.53K浏览
About Me
14.98K浏览
国产动漫详细列表
存档
2026 年 07 月
4
2026 年 06 月
2
2026 年 05 月
1
2026 年 04 月
3
2026 年 03 月
2
2025 年 12 月
2
2025 年 11 月
1
2025 年 10 月
2
2025 年 07 月
1
2025 年 06 月
3
2025 年 05 月
3
2025 年 04 月
2
2025 年 03 月
3
2024 年 12 月
1
2024 年 11 月
1
2024 年 10 月
1
2024 年 09 月
2
2024 年 08 月
1
2024 年 07 月
1
2024 年 06 月
2
2024 年 05 月
1
2024 年 04 月
1
2024 年 03 月
1
2023 年 12 月
1
2023 年 11 月
5
2023 年 10 月
2
2023 年 09 月
5
2023 年 08 月
2
2023 年 07 月
2
2023 年 05 月
5
2023 年 04 月
2
2023 年 02 月
1
2023 年 01 月
4
2022 年 12 月
3
2022 年 11 月
3
2022 年 08 月
1
2022 年 07 月
2
2022 年 05 月
1
2022 年 04 月
1
2022 年 02 月
1
2022 年 01 月
1
2021 年 12 月
1
2021 年 11 月
2
2021 年 10 月
0
2021 年 08 月
1
2021 年 05 月
1
2021 年 04 月
2
2021 年 03 月
1
2021 年 02 月
0
2021 年 01 月
1
2020 年 12 月
1
2020 年 11 月
14
2020 年 10 月
4
2020 年 09 月
8
2020 年 08 月
5
2020 年 07 月
5
2020 年 06 月
4
2020 年 05 月
9
2020 年 04 月
13
2020 年 03 月
4
2020 年 02 月
3
2020 年 01 月
5
2019 年 12 月
6
2019 年 11 月
2
2019 年 10 月
1
2019 年 09 月
5
2019 年 08 月
6
2019 年 07 月
2
2019 年 06 月
1
浪浪山下那个村
应无所住，而生其心。
文章
190
评论
353
浏览
242.39w
公告
转载请注明转载自"浪浪山旁那个村"
本网站由
提供CDN加速
本网站由提供OHTTPS提供自动部署证书
分类
编程语言
16
大数据
64
数据库
38
生活相关
3
AI相关
25
读书+追剧
3
博客相关
14
其他
26
标签
原创
44
redis
42
转载
37
hadoop
31
机器学习
21
flink
18
源码
16
linux
11
Java
11
博客
10
访问最多的文章
32,281浏览
debian 11 安装clang-15
24,819浏览
博客接入Google 广告
20,581浏览
Linux 安装常见编译工具安装
19,534浏览
About Me
14,980浏览
国产动漫详细列表
存档
2026 年 07 月
4
2026 年 06 月
2
2026 年 05 月
1
2026 年 04 月
3
2026 年 03 月
2
2025 年 12 月
2
2025 年 11 月
1
2025 年 10 月
2
2025 年 07 月
1
2025 年 06 月
3
2025 年 05 月
3
2025 年 04 月
2
2025 年 03 月
3
2024 年 12 月
1
2024 年 11 月
1
2024 年 10 月
1
2024 年 09 月
2
2024 年 08 月
1
2024 年 07 月
1
2024 年 06 月
2
2024 年 05 月
1
2024 年 04 月
1
2024 年 03 月
1
2023 年 12 月
1
2023 年 11 月
5
2023 年 10 月
2
2023 年 09 月
5
2023 年 08 月
2
2023 年 07 月
2
2023 年 05 月
5
2023 年 04 月
2
2023 年 02 月
1
2023 年 01 月
4
2022 年 12 月
3
2022 年 11 月
3
2022 年 08 月
1
2022 年 07 月
2
2022 年 05 月
1
2022 年 04 月
1
2022 年 02 月
1
2022 年 01 月
1
2021 年 12 月
1
2021 年 11 月
2
2021 年 10 月
0
2021 年 08 月
1
2021 年 05 月
1
2021 年 04 月
2
2021 年 03 月
1
2021 年 02 月
0
2021 年 01 月
1
2020 年 12 月
1
2020 年 11 月
14
2020 年 10 月
4
2020 年 09 月
8
2020 年 08 月
5
2020 年 07 月
5
2020 年 06 月
4
2020 年 05 月
9
2020 年 04 月
13
2020 年 03 月
4
2020 年 02 月
3
2020 年 01 月
5
2019 年 12 月
6
2019 年 11 月
2
2019 年 10 月
1
2019 年 09 月
5
2019 年 08 月
6
2019 年 07 月
2
2019 年 06 月
1