浪浪山下那个村 👋🏼

简介 ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成： 调度器：根据容量、队列限制条件将系统资源分配给各个应用。 资源分配的单位是container，container是一个动态资源单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定了资源使用量。 调度器是一个可插拔的组件，用户可以自己定制，也可以选择Fair或Capacity调度器. 应用程序管理器：负责管理所有应用程序的以下内容： 应用提交 与调度器协商资源以启动AM. 监控AM运行状态并在失败时重启它 RM内部架构 交互模块：RM对普通用户、管理员、Web提供了三种对外服务： ClientRMService:为普通用户提供服务，它处理来自客户端的各种RPC，比如: 应用提交 终止应用 获取应用状态等 AdminService:为管理员提供的独立接口，主要目的是为了防止大量普通用户请求阻塞管理员通道，提供如下功能： 动态更新节点列表 更新ACL列表 更新队列信息等 WebApp:提供一个Web界面来让用户更友好的获知集群和应....

简介 本章详细介绍NameNode启动过程。主要是代码级别的解释。 nameNode的启动主要是有NameNode.java主导的，由main函数开始了解。 下面是main函数里面的主要内容，可以看到主要由createNameNode实现NameNode的启动。 NameNode namenode = createNameNode(argv, null); if (namenode != null) { namenode.join(); } 在createNameNode函数里面主要是分为两部分： 参数解析：主要关心解析startOpt，startOpt可以控制具体操作，比如format、rockback等。主要操作如下,后续会详细介绍。 FORMAT ("-format"), CLUSTERID ("-clusterid"), GENCLUSTERID ("-genclusterid"), REGULAR ("-regular"), BACKUP ("-backup"), CHECKPOINT("-checkpoint"), UPGRADE ("-upgrade"), ROL....

简介 NameNode管理着整个HDFS文件系统的元数据。 从架构设计上看，元数据大致分成两个层次：Namespace管理层，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系； 块管理层，负责管理文件系统中文件的物理块与实际存储位置的映射关系BlocksMap，如图1所示。 Namespace管理的元数据除内存常驻外，也会周期Flush到持久化设备上FsImage文件；BlocksMap元数据只在内存中存在； 当NameNode发生重启，首先从持久化设备中读取FsImage构建Namespace，之后根据DataNode的汇报信息重新构造BlocksMap。 这两部分数据结构是占据了NameNode大部分JVM Heap空间。 除了对文件系统本身元数据的管理之外，NameNode还需要维护整个集群的机架及DataNode的信息、Lease管理以及集中式缓存引入的缓存管理等等。 这几部分数据结构空间占用相对固定，且占用较小。 内存全景 NameNode整个内存结构大致可以分成四大部分：Namespace、BlocksMap、NetworkTopology及其它 Names....

作业提交流程 Yarn 调度器 先进先出调度器 容量调度器 分配算法 公平调度器 调度原理 缺额 资源分配方式 样例 : DRF策略

简介 Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。 集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。 HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。 从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。 Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。 Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。 Namenode是所有HDFS元数据的仲裁者和管理者，这样，用户数据永远不会流过Namenode。 Namenode全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。 接收到心跳信号意味....