HDFS 详解

简介 Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。 Namenode是一个中心服务器,负责管理文件系统的名

Hudi 基础知识详解

Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发,同时保持数据以开源文件格式保留。 Hudi是Hadoop

RocksDB 详解

RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构,支持高吞吐量的写入和快速的范围查询,可被嵌入到应用程序中,实现持久化存储,支持水平扩展,可以在多台服务器上部署,

Flink基本架构

Flink 的 Master 节点包含了三个组件: Dispatcher、ResourceManager 和 JobManager。 Dispatcher: 负责接收用户提供的作业,并且负责为这个新提交的作业拉起一个新

java 17运行jar报错:java.lang.UnsatisfiedLinkError: Can't load library:

在我的Linux笔记本上面运行一个jar包的时候报错如下: Exception in thread "main" java.lang.UnsatisfiedLinkError: Can't load library: /

Flink Checkpoint/Savepoint对比

Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制(Savepoints)是检查点机制一种特殊的实现,它允许你通过手工方式来触发Checkpoint,并将结果持久化存储到指定

【Flink】【更新中】状态后端和checkpoint

状态后端和checkpoint详解,包括常见checkpoint问题处理。

Idea 运行Test报错:scala: No scalac found to compile scala sources

背景 在Idea当中运行Test的时候发现报错如下: scala: No scalac found to compile scala sources 但是在操作系统上面安装了scala,在idea当中也安装了 原因 虽

linux idea 启动慢、运行慢

解决Idea启动慢,运行慢的问题。

Flink 常见问题总结

Flink大数据常见问题总结。