Flink双流Join底层原理

底层原理简介 LState:存储左边数据流中的数据。 RState:存储右边数据流中的数据。 当左边数据流数据到达的时候会保存到LState,并且到RState中进行Join。将Join生成的结果数据发送到下游。 右

Flink SQL 优化

设置空闲状态保留时间 不设置空闲状态保留时间会导致状态爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ),左右表的数据都会一直保存在状态里,不会清理!要么设置 TTL

Flink数据倾斜理解

数据倾斜原理 数据倾斜就是数据的分布严重不均,流入部分算子的数据明显多余其他算子,造成这部分算子压力过大。 影响 单点问题 数据集中在某些分区上(Subtask),导致数据严重不平衡。 GC 频繁 过多的数据集中在某些

Flink作业反压处理

简介 反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。由于实时计算应用通常使用消息队

Flink状态后端和CheckPoint 调优

RocksDB 介绍 RocksDB 是嵌入式的 Key-Value 数据库,在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示,RocksDB 持久化的 SST文件在本地文件系统上

Flink资源调优

1. 内存设置 1.1 TaskManager 内存模型 TaskManager的内存模型如下图所示(1.10之后版本内存模型): Flink使用了堆上内存和堆外内存。 Flink 框架内存使用了堆外内存和堆外内存,

跳跃列表源码实现

跳跃表将有序链表中的部分节点分层,每一层都是一个有序链表。在查找时优先从最高层开始向后查找,当到达某节点时,如果next节点值大于要查找的值或next指针指向NULL,则从当前节点下降一层继续向后查找,这样可以有效提升效

压缩列表的源码实现

压缩列表ziplist本质上就是一个字节数组,是Redis为了节约内存而设计的一种线性数据结构,可以包含多个元素,每个元素可以是一个字节数组或一个整数。 Redis的有序集合、散列和列表都直接或者间接使用了压缩列表。当有

Redis 常见命令

检查操作系统配置 redis-server --check-system 结果如下,说明检查通过: [slow-clocksource]...OK [xen-clocksource]...OK [overcommit]

autoreconf -ivf 报错error: required file './ltmain.sh' not found

在编译源码https://github.com/RedisLabs/memtier_benchmark 的时候执行下面命令: autoreconf -ivf ./configure make sudo make inst