Flink状态后端和CheckPoint 调优

RocksDB 介绍 RocksDB 是嵌入式的 Key-Value 数据库,在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示,RocksDB 持久化的 SST文件在本地文件系统上

Flink资源调优

1. 内存设置 1.1 TaskManager 内存模型 TaskManager的内存模型如下图所示(1.10之后版本内存模型): Flink使用了堆上内存和堆外内存。 Flink 框架内存使用了堆外内存和堆外内存,

跳跃列表源码实现

跳跃表将有序链表中的部分节点分层,每一层都是一个有序链表。在查找时优先从最高层开始向后查找,当到达某节点时,如果next节点值大于要查找的值或next指针指向NULL,则从当前节点下降一层继续向后查找,这样可以有效提升效

压缩列表的源码实现

压缩列表ziplist本质上就是一个字节数组,是Redis为了节约内存而设计的一种线性数据结构,可以包含多个元素,每个元素可以是一个字节数组或一个整数。 Redis的有序集合、散列和列表都直接或者间接使用了压缩列表。当有

Redis 常见命令

检查操作系统配置 redis-server --check-system 结果如下,说明检查通过: [slow-clocksource]...OK [xen-clocksource]...OK [overcommit]

autoreconf -ivf 报错error: required file './ltmain.sh' not found

在编译源码https://github.com/RedisLabs/memtier_benchmark 的时候执行下面命令: autoreconf -ivf ./configure make sudo make inst

redis 命令exists vs get

redis 命令exists vs get,在判断key是否存在的场景下: exists速度更快,可以忽略类型。 get只适用于string类型,当值越大时,速度越慢。

Redis 可以禁用的高危命令

redis一款高并发的内存K-V数据库,提供了好多命令,但是其中有部分对于生产环境来说比较危险,需要禁用掉。高危命令有:keys、flushdb、flushall、config、debug、eval、script、evalsha、shutdown

已经安装openssl,编译redis还是提示找不到

已经安装openssl,编译redis还是提示找不到<openssl/ssl.h>

使用Docker快速搭建Kerberos环境

Kerberos认证在大数据场景下用的比较多,特别是在Hadoop生态下,认证基本用的都是Kerberos认证。一般来讲Kerberos认证相对于其他方式的认证安全很多,同样的认证的时候性能应该差一点。 国内某著名大数据