2025年12月21日浏览 215 大数据

RollingLevelDBTimelineStore 详解

功能简介作业timeline store的一种基于leveldb的实现。主要保存下面信息： start time信息，保存在starttime-ldb里面，是一个单独的LevelDB。 entity信息，保存在entity-ldb里面，是一个单独的Le ......

2025年12月13日浏览 290 大数据

NativeIO 源码解析

简介 NativeIO主要用于实现一些Java未实现的IO相关的接口。通过JNI的的方式直接调用底层操作系统的系统函数，提升效率和性能。源码详解主要分下面几部分： JNI初始化，包括底层JNI代码。底层IO操作详解初始化核心初始化的代码是在N ......

2025年10月08日浏览 321 大数据

简介 Active Namenode与StandBy Namenode之间的绿色区域就是JournalNode,当然数量不一定只有1个,作用相当于NFS共享文件系统.Active Namenode往里写editlog数据,StandBy再从里面读取数据进行 ......

2025年07月06日浏览 709 大数据

简介启动源码分析 Zookeeper启动的主类为QuorumPeerMain.java 。入口函数文为initializeAndRun，如下所示，在往下的核心函数为runFromConfig。 QuorumPeerMain main = new Quo ......

2025年06月28日浏览 813 大数据

问题现象用idea 运行Zookeeper是报错 com.codahale.metrics.Reservoir找不见。问题原因 Zookeeper-server下面的pom.xml 里面引用jar的时候加了<scope>provided&l ......

2025年06月15日浏览 937 大数据

简介 distributedShell是Yarn自带的应用程序，和MR类似，当前工具可以用来对Yarn进行压测。使用示例参考命令如下： ./bin/hadoop jar ./share/hadoop/yarn/hadoop-yarn-applicati ......

2025年06月08日浏览 632 大数据

背景新建的HDFS使用web短上传文件的时候报错： Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01 解决在core-site.xml中增加下面配置,其中hadoop01 ......