浪浪山下那个村 👋🏼

客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(url, connConfigurator); conn.setRequestMethod(AUTH_HTTP_METHOD); conn.connect(); SPNEGO认证 对于普通的HTTP的kerberos认证(SPNEGO)，需要现在客户端登录KDC服务。核心代码在函数doSpnegoSequence里面。 首先需要登录KDC服务端： subject = new Subject(); LoginContext login = new LoginContext("", subject, null, new KerberosConfiguration()); // 登录KDC服务 login.login(); 下面主要是开始认证的时候的逻辑。核心处理逻辑流程图如下： 主要代码逻辑如下。 GSSManager gssManager = GSSManager.g....

简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManagerImpl类实现，具体代码可以参考当前类。 初始化 初始化主要分为两部分： ContainerManagerImpl实例的构造函数和serviceInit函数。 构造函数 当前函数为构造函数，主要初始化必须要的一些变量等。 dispatcher ： 事件的中央调度器，主要用于管理单个Container的生命周期。在当前函数里面会通过dispatcher.register()注册支持的事件。 containersLauncher： 主要用于启动Container，可以通过配置项yarn.nodemanager.containers-launcher.class指定。默认为containersLauncher.class serviceInit函数 主要是服务启动时的初始化函数，ContainerManager在NodeManager内部属于一个服务。所以初始化的时候会调....

简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处理从 namenode 收到的命令。 核心功能 BPServiceActor的入口函数为start函数，当前类本身为runnable接口的实现类，所以在start函数里面新建了BPServiceActor线程，并且将其启动， 所以其真实的启动函数为run() 在run函数里面主要做了连接NameNode并且注册当前DataNode的事。 与NameNode握手 首先要做的就是和NameNode建立连接，核心代码如下： bpNamenode = dn.connectToNN(nnAddr); 建立连接之后需要做的就是获取获取版本信息并且检查版本信息，如果单次获取失败会进行重试。失败之后每次的重试间隔为5s。 NamespaceInfo nsInfo = retrieveNamespaceInfo(); bpos.verifyAndSetNamespaceInfo(th....

jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓存，默认情况下guava的缓存个数是5，可以通过配置项mapreduce.jobhistory.loadedjobs.cache.size控制。 当guava的一级缓存中不存在的时候，默认是需要重新加载的，jobhistory中定义了加载规则,定义代码如下： CacheLoader<JobId, Job> loader; loader = new CacheLoader<JobId, Job>() { @Override public Job load(JobId key) throws Exception { return loadJob(key); } }; 其中loadJob实现如下，其中hsManager为加载具体实现， private Job loadJob(JobId jobId) throws RuntimeException, ....

Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory类来管理的。 FSNamesystem也提供了管理目录树结构的方法。 FSNamesystem中的方法多是调用FSDirectory类的实现。FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。 FSDirectory的操作则全部是在内存中进行的， 并不进行editlog的日志记录。

作业启动 作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit()，主要如下： public void submit() throws IOException, InterruptedException, ClassNotFoundException { ensureState(JobState.DEFINE); setUseNewAPI(); connect(); final JobSubmitter submitter = getJobSubmitter(cluster.getFileSystem(), cluster.getClient()); status = ugi.doAs(new PrivilegedExceptionAction<JobStatus>() { public JobStatus run() throws IOException, InterruptedException, ClassNotFoundEx....

常见命令记录，总结篇

简介 ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成： 调度器：根据容量、队列限制条件将系统资源分配给各个应用。 资源分配的单位是container，container是一个动态资源单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定了资源使用量。 调度器是一个可插拔的组件，用户可以自己定制，也可以选择Fair或Capacity调度器. 应用程序管理器：负责管理所有应用程序的以下内容： 应用提交 与调度器协商资源以启动AM. 监控AM运行状态并在失败时重启它 RM内部架构 交互模块：RM对普通用户、管理员、Web提供了三种对外服务： ClientRMService:为普通用户提供服务，它处理来自客户端的各种RPC，比如: 应用提交 终止应用 获取应用状态等 AdminService:为管理员提供的独立接口，主要目的是为了防止大量普通用户请求阻塞管理员通道，提供如下功能： 动态更新节点列表 更新ACL列表 更新队列信息等 WebApp:提供一个Web界面来让用户更友好的获知集群和应....

flink 的安装参照：flink 简单入门， 我们来了解下flink的配置文件。

最近开始学习flink相关的，本文只是讲述怎么简单的搭建flink以及简单的使用一个demo。