浪浪山下那个村 👋🏼

jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓存，默认情况下guava的缓存个数是5，可以通过配置项mapreduce.jobhistory.loadedjobs.cache.size控制。 当guava的一级缓存中不存在的时候，默认是需要重新加载的，jobhistory中定义了加载规则,定义代码如下： CacheLoader<JobId, Job> loader; loader = new CacheLoader<JobId, Job>() { @Override public Job load(JobId key) throws Exception { return loadJob(key); } }; 其中loadJob实现如下，其中hsManager为加载具体实现， private Job loadJob(JobId jobId) throws RuntimeException, ....

NameNode客户端协议详解 协议的定义主要在类NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, DatanodeLifelineProtocol, NamenodeProtocol, RefreshAuthorizationPolicyProtocol, ReconfigurationProtocol, RefreshUserMappingsProtocol, RefreshCallQueueProtocol, GenericRefreshProtocol, GetUserMappingsProtocol, HAServiceProtocol { } 根据交互对象的不同，将协议进行了不同的归类。要想了解协议内容，需要将其单独分开分析。 NamenodeProtocol 详解 BlocksWithLocations getBlocks(DatanodeInfo datanode, long size, long minBlockSiz....

Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory类来管理的。 FSNamesystem也提供了管理目录树结构的方法。 FSNamesystem中的方法多是调用FSDirectory类的实现。FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。 FSDirectory的操作则全部是在内存中进行的， 并不进行editlog的日志记录。

作业启动 作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit()，主要如下： public void submit() throws IOException, InterruptedException, ClassNotFoundException { ensureState(JobState.DEFINE); setUseNewAPI(); connect(); final JobSubmitter submitter = getJobSubmitter(cluster.getFileSystem(), cluster.getClient()); status = ugi.doAs(new PrivilegedExceptionAction<JobStatus>() { public JobStatus run() throws IOException, InterruptedException, ClassNotFoundEx....

常见命令记录，总结篇

简介 Yarn采用了基于事件驱动的并发模型： 所有状态机都实现了EventHandler接口，很多服务（类名通常带有Service后缀）也实现了该接口，它们都是事件处理器。 需要异步处理的事件由中央异步调度器（类名通常带有Dispatcher后缀）统一接收/派发，需要同步处理的事件直接交给相应的事件处理器。 某些事件处理器不仅处理事件，也会向中央异步调度器发送事件。 事件处理器定义 事件处理器定义如下： @SuppressWarnings("rawtypes") @Public @Evolving public interface EventHandler<T extends Event> { void handle(T event); } 只有一个handler函数，如参是事件： 中央处理器AsyncDispatcher AsyncDispatcher 实现了接口Dispatcher，Dispatcher中定义了事件Dispatcher的接口。主要提供两个功能： 注册不同类型的事件，主要包含事件类型和事件处理器。 获取事件处理器，用来派发事件，等待异步执行真正的....

简介 ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成： 调度器：根据容量、队列限制条件将系统资源分配给各个应用。 资源分配的单位是container，container是一个动态资源单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定了资源使用量。 调度器是一个可插拔的组件，用户可以自己定制，也可以选择Fair或Capacity调度器. 应用程序管理器：负责管理所有应用程序的以下内容： 应用提交 与调度器协商资源以启动AM. 监控AM运行状态并在失败时重启它 RM内部架构 交互模块：RM对普通用户、管理员、Web提供了三种对外服务： ClientRMService:为普通用户提供服务，它处理来自客户端的各种RPC，比如: 应用提交 终止应用 获取应用状态等 AdminService:为管理员提供的独立接口，主要目的是为了防止大量普通用户请求阻塞管理员通道，提供如下功能： 动态更新节点列表 更新ACL列表 更新队列信息等 WebApp:提供一个Web界面来让用户更友好的获知集群和应....

简介 本章详细介绍NameNode启动过程。主要是代码级别的解释。 nameNode的启动主要是有NameNode.java主导的，由main函数开始了解。 下面是main函数里面的主要内容，可以看到主要由createNameNode实现NameNode的启动。 NameNode namenode = createNameNode(argv, null); if (namenode != null) { namenode.join(); } 在createNameNode函数里面主要是分为两部分： 参数解析：主要关心解析startOpt，startOpt可以控制具体操作，比如format、rockback等。主要操作如下,后续会详细介绍。 FORMAT ("-format"), CLUSTERID ("-clusterid"), GENCLUSTERID ("-genclusterid"), REGULAR ("-regular"), BACKUP ("-backup"), CHECKPOINT("-checkpoint"), UPGRADE ("-upgrade"), ROL....

简介 NameNode管理着整个HDFS文件系统的元数据。 从架构设计上看，元数据大致分成两个层次：Namespace管理层，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系； 块管理层，负责管理文件系统中文件的物理块与实际存储位置的映射关系BlocksMap，如图1所示。 Namespace管理的元数据除内存常驻外，也会周期Flush到持久化设备上FsImage文件；BlocksMap元数据只在内存中存在； 当NameNode发生重启，首先从持久化设备中读取FsImage构建Namespace，之后根据DataNode的汇报信息重新构造BlocksMap。 这两部分数据结构是占据了NameNode大部分JVM Heap空间。 除了对文件系统本身元数据的管理之外，NameNode还需要维护整个集群的机架及DataNode的信息、Lease管理以及集中式缓存引入的缓存管理等等。 这几部分数据结构空间占用相对固定，且占用较小。 内存全景 NameNode整个内存结构大致可以分成四大部分：Namespace、BlocksMap、NetworkTopology及其它 Names....

作业提交流程 Yarn 调度器 先进先出调度器 容量调度器 分配算法 公平调度器 调度原理 缺额 资源分配方式 样例 : DRF策略