Gitea 自建代码仓流量大坑
 浏览 1.02K 博客相关

Gitea 自建代码仓流量大坑

背景 前端时间租的腾讯云服务器是按照流量计费的，最近一段时间流量走的老快了，并且发现默认1G的带宽老是卡。 原因 通过分析nginx的日志发现有大量的爬虫在大批量的访问代码仓。导致占用了大量带宽。 解决 nginx中过滤爬虫 在nginx中配置下面信息，过 ......
阅读更多
container-executor 详解
 浏览 365 大数据

container-executor 详解

简介 container-executor 是NodeManager管理Container很重要的一个工具，是深入学习Yarn作业调度不可缺少的一个知识点，值得深入学习。本文只描述比较基础的功能点(目前不会包含Docker相关)。 核心功能点 checks ......
阅读更多
Idea Hadoop 源码YarnServiceProtos无法补全问题
 浏览 482 其他

Idea Hadoop 源码YarnServiceProtos无法补全问题

问题现象 使用IDEA打开Hadoop源码之后，发现YarnServiceProtos部分代码无法补全，已经安装了protobuf相关的插件。 原因以及解决方法 再打开YarnServiceProtos文件的时候会提示类似文件过大无法打开的文字，所以可能是 ......
阅读更多
Capacity调度器源码解析
 浏览 379 大数据

Capacity调度器源码解析

简介 源码解析 Capacity 调度器的核心类是CapacityScheduler。在初始化CapacityScheduler的时候，在构造函数initAsyncSchedulingProperties，里面会初始化调度器相关。 核心类是AsyncSc ......
阅读更多
router启动详解
 浏览 560 大数据

router启动详解

简介 为了解决HDFS的水平扩展性问题，社区从Apache Hadoop 0.23.0版本开始引入了HDFS federation。HDFS Federation是指 HDFS集群可同时存在多个NameNode/Namespace，每个Namespace之 ......
阅读更多
hadoop 主备倒换控制器：ZKFailoverController详解
 浏览 670 大数据

hadoop 主备倒换控制器：ZKFailoverController详解

简介 HDFS的NameNode、Yarn的ResourceManager都是依靠ZK实现主备倒换的。核心的类为：ZKFailoverController.java, 选举的核心类为ActiveStandbyElector.java 主备选举 主备选举的核 ......
阅读更多
Hadoop 认证模块详解
 浏览 906 大数据

Hadoop 认证模块详解

客户端认证 客户端的入口函数为 KerberosAuthenticator.authenticate函数 连接HTTP服务端 HttpURLConnection conn = token.openConnection(url, connConfigurat ......
阅读更多
ContainerManager详解
 浏览 864 大数据

ContainerManager详解

简介 ContainerManager主要负责NM中管理所有Container生命周期，其主要包含启动Container、恢复Container、停止Container等功能。 主要功能由ContainerManagerImpl类实现，具体代码可以参考当前 ......
阅读更多
BPServiceActor详解
 浏览 1.38K 大数据

BPServiceActor详解

简介 BPServiceActor 主要在DataNode中用于和NameNode沟通的类。主要功能如下： 与 namenode 进行预注册握手。 向 namenode 注册。 定期向 namenode 发送心跳。 处理从 namenode 收到的命令。 ......
阅读更多
neovim 从0开始配置优化
 浏览 2.51K 其他

neovim 从0开始配置优化

neovim是从vim的一个分支fork出来的，从性能等方面来讲都比vim强很多，所以从vim转到neovim了。 本文涉及的neovim配置都在https://git.zeekling.cn/linux/nvim-config/src/branch/ma ......
阅读更多

访问最多的文章

存档

公告

分类

标签

原创 44
redis 42
转载 37
hadoop 31
机器学习 21
flink 18
源码 16
linux 11
Java 11
博客 10

访问最多的文章

存档