Yarn 作业启动源码解读

作业启动 作业提交的客户端比较核心的类是Job.java,看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit(),主要如下

【持续更新】hdfs 常见命令

常见命令记录,总结篇

Yarn 状态机以及事件机制

简介 Yarn采用了基于事件驱动的并发模型: 所有状态机都实现了EventHandler接口,很多服务(类名通常带有Service后缀)也实现了该接口,它们都是事件处理器。 需要异步处理的事件由中央异步调度器(类名通常

ResourceManager简介

简介 ResourceManager(RM),RM是全局的资源管理器,负责整个系统的资源管理和分配。主要由以下两部分组成: 调度器:根据容量、队列限制条件将系统资源分配给各个应用。 资源分配的单位是container

nameNode启动过程源码分析

简介 本章详细介绍NameNode启动过程。主要是代码级别的解释。 nameNode的启动主要是有NameNode.java主导的,由main函数开始了解。 下面是main函数里面的主要内容,可以看到主要由createN

NameNode 详解

简介 NameNode管理着整个HDFS文件系统的元数据。 从架构设计上看,元数据大致分成两个层次:Namespace管理层,负责管理文件系统中的树状目录结构以及文件与数据块的映射关系; 块管理层,负责管理文件系统中文件

Yarn 详解

作业提交流程 Yarn 调度器 先进先出调度器 容量调度器 分配算法 公平调度器 调度原理 缺额 资源分配方式 样例 : DRF策略

HDFS 详解

简介 Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器,负责管理文件系统的名

Hudi 基础知识详解

Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发,同时保持数据以开源文件格式保留。 Hudi是Hadoop

RocksDB 详解

RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构,支持高吞吐量的写入和快速的范围查询,可被嵌入到应用程序中,实现持久化存储,支持水平扩展,可以在多台服务器上部署,