简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElector.java 主备选举 主备选举的核心类是ActiveStandbyElector。在初始化的时候需要创建zk连接并且尝试在zk上面创建文件。在创建连接或者创建文件的时候都会有回调事件。 回调处理的函数主要包含： 创建node节点回调 入口函 ......

   客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(url, connConfigurator); conn.setRequestMethod(AUTH_HTTP_METHOD); conn.connect(); SPNEGO认证 对于普通的HTTP的kerberos认证(SPNEGO)，需要 ......

   简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManagerImpl类实现，具体代码可以参考当前类。 初始化 初始化主要分为两部分： ContainerManagerImpl实例的构造函数和serviceInit函数。 构造函数 当前函数为构造函数，主要初始化必须要的一些变量等。 dispatche ......

   简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处理从 namenode 收到的命令。 核心功能 BPServiceActor的入口函数为start函数，当前类本身为runnable接口的实现类，所以在start函数里面新建了BPServiceActor线程，并且将其启动， 所以其真实的启 ......

   常见命令记录，总结篇

   简介 ResourceManager(RM)，RM是全局的资源管理器，负责整个系统的资源管理和分配。主要由以下两部分组成： 调度器：根据容量、队列限制条件将系统资源分配给各个应用。 资源分配的单位是container，container是一个动态资源单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定了资源使用量。 调度器是一个可插拔的组件，用户可以自己定制，也可以选择Fair或Capacity调度器. 应用程序管理器：负责管理所有应用程序的 ......

   neovim是从vim的一个分支fork出来的，从性能等方面来讲都比vim强很多，所以从vim转到neovim了。 本文涉及的neovim配置都在https://git.zeekling.cn/linux/nvim-config/src/branch/master里面。 快速使用方法： ```bash git clone https://git.zeekling.cn/linux/nvim-config.git ~/.config/nvim # 或者 git ......

   Namenode最重要的两个功能之一就是维护整个文件系统的目录树（即命名空间namesystem） 。 HDFS文件系统的命名空间（namespace） ， 也就是以“/”为根的整个目录树， 是通过FSDirectory类来管理的。 FSNamesystem也提供了管理目录树结构的方法。 FSNamesystem中的方法多是调用FSDirectory类的实现。FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。 ......

   作业启动 作业提交的客户端比较核心的类是Job.java，看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit()，主要如下： public void submit() throws IOException, InterruptedException, ClassNotFoundException { ensureState(JobState.DEFINE); s ......

   问题现象 执行docker stop xxxx报错如下： Error response from daemon: cannot stop container: xxxx: tried to kill container, but did not receive an exit event 执行下面命令重启docker，发现container依旧在，依旧无法停止。 systemctl restart docker 解决方案 通过docker ps查看co ......

   jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中，查询作业信息的时候一般会从内存查询，如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层，第一层是guava缓存，默认情况下guava的缓存个数是5，可以通过配置项mapreduce.jobhistory.loadedjobs.cache.size控制。 当guava的一级缓存中不存在的时候，默认是需要重新加载的，jobhistory中定义了加载规则 ......

   国产动漫详细列表，简单记录最近可以看的动漫列表。持续更新。

   和支持向量机一样， 决策树是一种多功能机器学习算法， 即可以执行分类任务也可以执行回归任务， 甚至包括多输出（multioutput）任务.

   K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中.

   正则化(Regularization) 是机器学习中对原始损失函数引入额外信息，以便防止过拟合和提高模型泛化性能的一类方法的统称。正则化是在经验风险上面加了一个正则化项或者惩罚项,正则化函数一般是模型法则度的单调增函数,模型越负责,正则化值就越大.