【Hadoop】FSDirectory详解
   Namenode最重要的两个功能之一就是维护整个文件系统的目录树(即命名空间namesystem) 。 HDFS文件系统的命名空间(namespace) , 也就是以“/”为根的整个目录树, 是通过FSDirectory类来管理的。 FSNamesystem也提供了管理目录树结构的方法。 FSNamesystem中的方法多是调用FSDirectory类的实现。FSNamesystem在FSDirectory类方法的基础上添加了editlog日志记录的功能。 ......
hadoop   |  2024-03-31   0 评论   1,945 浏览

【Hadoop】Yarn 作业启动源码解读
   作业启动 作业提交的客户端比较核心的类是Job.java,看作业启动的源码需要从这个类开始看。 Job.java 作业启动的入口函数为waitForCompletion函数。当前函数的核心函数为submit(),主要如下: public void submit() throws IOException, InterruptedException, ClassNotFoundException { ensureState(JobState.DEFINE); s ......
yarn   hadoop   |  2023-12-07   1 评论   2,203 浏览

docker stop container 报错:tried to kill container, but did not receive an exit event
   问题现象 执行docker stop xxxx报错如下: Error response from daemon: cannot stop container: xxxx: tried to kill container, but did not receive an exit event 执行下面命令重启docker,发现container依旧在,依旧无法停止。 systemctl restart docker 解决方案 通过docker ps查看co ......
Docker   |  2024-06-02   2 评论   2,242 浏览

【Hadoop】jobhistory 作业缓存源码详解
   jobhistory 作业缓存 jobhistory 一般会保存一部分作业信息到内存中,查询作业信息的时候一般会从内存查询,如果内存查询不到就会从磁盘上扫描。 jobhistory 缓存一般分为两层,第一层是guava缓存,默认情况下guava的缓存个数是5,可以通过配置项mapreduce.jobhistory.loadedjobs.cache.size控制。 当guava的一级缓存中不存在的时候,默认是需要重新加载的,jobhistory中定义了加载规则 ......
hadoop   |  2024-05-26   0 评论   1,530 浏览

国产动漫详细列表
   国产动漫详细列表,简单记录最近可以看的动漫列表。持续更新。
动漫   |  2019-06-26   21 评论   14,391 浏览

决策树详解
   和支持向量机一样, 决策树是一种多功能机器学习算法, 即可以执行分类任务也可以执行回归任务, 甚至包括多输出(multioutput)任务.
机器学习   转载   |  2019-07-20   0 评论   1,562 浏览

K近邻算法(KNN)详解
   K近邻算法,即是给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例,这K个实例的多数属于某个类,就把该输入实例分类到这个类中.
机器学习   |  2019-09-15   0 评论   1,315 浏览

深入理解L1,L2正则化
   正则化(Regularization) 是机器学习中对原始损失函数引入额外信息,以便防止过拟合和提高模型泛化性能的一类方法的统称。正则化是在经验风险上面加了一个正则化项或者惩罚项,正则化函数一般是模型法则度的单调增函数,模型越负责,正则化值就越大.
机器学习   |  2019-09-22   0 评论   2,100 浏览

Dialogue Transformers 论文详解
   论文中引入 transformer 的结构,其中注意力模型在对话轮的顺序上面起了了作用.最近我们使用递归神经网络多轮对话的上下文中用户说的话,但是我们原本认为注意力模型会更适合多轮场景.默认情况下,RNN假设每个选项和完整的序列有关,但是一轮对话当中包括一些交错的对话逻辑在里面. transformer 模型可以选择忽略或者选择对话的一部分内容.们比较了 Transformer Embedding Dialogue对话策略对LSTM和REDP的政策.旨在克服 ......
论文   机器学习   |  2019-11-24   0 评论   2,970 浏览

The RavenClaw dialog management framework 论文阅读
   本文描述了一个基于计划的、独立于任务的对话管理框架RavenClaw。该框架的一个关键特点是,它将对话控制逻辑的特定领域方面与独立于领域的对话技巧隔离开来,并在这个过程中促进了在复杂的、面向任务的领域中运行的混合主动系统的快速发展。系统开发人员可以专注于描述对话框任务控制逻辑,而RavenClaw对话框引擎则透明地支持和执行大量与领域无关的会话技能,如错误处理、计时和轮流。
论文   机器学习   |  2019-11-30   0 评论   2,183 浏览

博客接入Google 广告
   最近可能是闲的蛋疼,所以打算在自己博客上面接入广告。
生活   原创   |  2019-12-10   98 评论   24,084 浏览

刷算法 - a+b问题
   给出两个整数 a 和 b , 求他们的和。
算法题   原创   |  2019-12-12   0 评论   1,270 浏览

Gogs迁移Gitea
   Gogs 更新功能比 Gitea 少很多,虽然不一定用得到。 Gitea 更新快,一些 bug 解决的快一点(虽然我没发现什么 bug) 可能是因为我 Gogs 用的时间久了,出现了视觉疲劳?
git   原创   |  2020-02-23   0 评论   4,873 浏览

记一次被备案组警告的大事件
   在 2020 年 3 月 2 号左右,可能是当时我脑子抽了的原因,就在博客名字上面加了 万恶的 BLOG 字眼。终于在 同月 4 号,本人收到了腾讯备案组的电话警告,要求我在七天之内进行整改。
生活   原创   |  2020-03-04   2 评论   2,246 浏览

2020年纪录片推荐
   最近一直再刷纪录片,索性就把好看的纪录片记录下来。
生活   纪录片   原创   |  2020-03-22   18 评论   7,579 浏览