【Hadoop】NameNode 详解

简介 NameNode管理着整个HDFS文件系统的元数据。 从架构设计上看,元数据大致分成两个层次:Namespace管理层,负责管理文件系统中的树状目录结构以及文件与数据块的映射关系; 块管理层,负责管理文件系统中文件

【Hadoop】Yarn 详解

作业提交流程 Yarn 调度器 先进先出调度器 容量调度器 分配算法 公平调度器 调度原理 缺额 资源分配方式 样例 : DRF策略

【Hadoop】HDFS 详解

简介 Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器,负责管理文件系统的名

【Hadoop】Hudi 基础知识详解

Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发,同时保持数据以开源文件格式保留。 Hudi是Hadoop

RocksDB 详解

RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构,支持高吞吐量的写入和快速的范围查询,可被嵌入到应用程序中,实现持久化存储,支持水平扩展,可以在多台服务器上部署,

【Flink】Flink基本架构

Flink 的 Master 节点包含了三个组件: Dispatcher、ResourceManager 和 JobManager。 Dispatcher: 负责接收用户提供的作业,并且负责为这个新提交的作业拉起一个新

java 17运行jar报错:java.lang.UnsatisfiedLinkError: Can't load library:

在我的Linux笔记本上面运行一个jar包的时候报错如下: Exception in thread "main" java.lang.UnsatisfiedLinkError: Can't load library: /

Flink Checkpoint/Savepoint对比

Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制(Savepoints)是检查点机制一种特殊的实现,它允许你通过手工方式来触发Checkpoint,并将结果持久化存储到指定

【Flink】【更新中】状态后端和checkpoint

状态后端和checkpoint详解,包括常见checkpoint问题处理。

Idea 运行Test报错:scala: No scalac found to compile scala sources

背景 在Idea当中运行Test的时候发现报错如下: scala: No scalac found to compile scala sources 但是在操作系统上面安装了scala,在idea当中也安装了 原因 虽