评估方法详解
   模型评估的相关方法详解。模型评价是指对于已经建立的一个或多个模型,根据其模型的类别,使用不同的指标评价其性能优劣的过程。常用的聚类模型评价指标有ARI评价法(兰德系数)、AMI评价法(互信息)、V-measure评分、FMI评价法和轮廓系数等。常用的分类模型评价指标有准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1 Value)、ROC和AUC等。常用的回归模型评价指标有平均绝对误差、均方根误差、中值绝对误差和可 ......
机器学习   转载   |  2020-04-25   0 评论   2,098 浏览

Redis 6 新特性
   Redis6.0.0稳定版出来了。这一次是从发布第一个候选版本到最终发布稳定版本之间的一个相对较短的周期。它花了大约四个月的时间,这不是一个小数目的时间,但与我们过去的记录相比,也不是很多。 主要的变化有: SSL、ACLs、RESP3、客户端缓存、线程I/O、副本上的无盘复制、Redis benchmark中的集群支持和改进的Redis cli集群支持、Redis作为Redis的一个模块,以及Redis集群代理。
redis   源码   转载   |  2020-11-01   0 评论   2,266 浏览

【Redis源码】setbit命令
   setbit命令对key所存储的字符串值,设置指定偏移量上的比特位。 格式: setbit key offset value 返回值: 返回指定偏移量原来存储的位。
转载   redis   命令   源码   |  2020-11-14   0 评论   2,678 浏览

【Redis源码】Redis 6 ACL源码详解
   本文主要是讲解Redis 6的ACL的实现原理。基本使用详见:Redis 6.0新特性——ACLs,以及Redis启动过程分析。
原创   redis   新特性   源码   |  2020-11-22   0 评论   2,777 浏览

Linux sogou输入法显示简体输入却是繁体
   最新linux电脑搜狗输入法老是在输入的时候显示中文简体,但是输入到文件,或者浏览器里面就变成了繁体。很是让人头疼,网上搜了下也没人讲这种事。
输入法   linux   kali   |  2021-03-25   3 评论   4,035 浏览

C语言命令行参数和java的区别
   主要区别在与args[0]的值,在C语言当中args[0]是C语言编译出的当前二进制的名称,而在Java当中却是第一个参数的值。比较容易混淆。
Java   c语言   |  2021-05-10   2 评论   4,539 浏览

Idea 运行Test报错:scala: No scalac found to compile scala sources
   背景 在Idea当中运行Test的时候发现报错如下: scala: No scalac found to compile scala sources 但是在操作系统上面安装了scala,在idea当中也安装了 原因 虽然在操作系统上面安装了scala,但是idea当中没有添加scala,
原创   |  2023-08-08   0 评论   1,342 浏览

Flink资源调优
   1. 内存设置 1.1 TaskManager 内存模型 TaskManager的内存模型如下图所示(1.10之后版本内存模型): Flink使用了堆上内存和堆外内存。 Flink 框架内存使用了堆外内存和堆外内存,不计入slot资源。 Task执行的内存使用了堆上内存和堆外内存。 网络缓冲内存:网络数据交换所使用的内存大小,如网络数据交换缓冲区。 框架堆外内存、Task堆外内存、网络缓冲内存都在堆外的直接内存里面。 管理内存:Flink堆外内存的管 ......
flink   |  2022-12-31   0 评论   1,099 浏览

Flink状态后端和CheckPoint 调优
   RocksDB 介绍 RocksDB 是嵌入式的 Key-Value 数据库,在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示,RocksDB 持久化的 SST文件在本地文件系统上通过多个层级进行组织,不同层级之间会通过异步Compaction 合并重复、过期和已删除的数据。在 RocksDB 的写入过程中,数据经过序列化后写入到WriteBuffer,WriteBuffer 写满后转换为 Immutable Memt ......
flink   |  2023-01-02   0 评论   1,170 浏览

Flink作业反压处理
   简介 反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和 消费端的解耦,消费端数据源是 pull-based 的,所以反压通常是从某个节点传导至数据源并降低数据源(比如 Kafka consumer)的摄入速率。 简单来说,Flink 拓扑中每个节点(Task)间的数据都以阻塞队列 ......
flink   |  2023-01-06   0 评论   1,309 浏览

Flink数据倾斜理解
   数据倾斜原理 数据倾斜就是数据的分布严重不均,流入部分算子的数据明显多余其他算子,造成这部分算子压力过大。 影响 单点问题 数据集中在某些分区上(Subtask),导致数据严重不平衡。 GC 频繁 过多的数据集中在某些 JVM(TaskManager),使得JVM 的内存资源短缺,导致频繁 GC。 吞吐下降、延迟增大 数据单点和频繁 GC 导致吞吐下降、延迟增大。 系统崩溃 严重情况下,过长的 GC 导致 TaskManager 失联,系统崩溃。 Flin ......
flink   |  2023-01-15   0 评论   1,191 浏览

Flink SQL 优化
   设置空闲状态保留时间 不设置空闲状态保留时间会导致状态爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ),左右表的数据都会一直保存在状态里,不会清理!要么设置 TTL ,要么使用 Flink SQL 的 interval join 。 使用 Top N 语法进行去重,重复数据的出现一般都位于特定区间内(例如一小时或一天内),过了这段时间之后,对应的 状态就不再需要了。 Flink SQL可以指定空闲状态( ......
flink   |  2023-01-29   0 评论   1,305 浏览

Flink双流Join底层原理
   底层原理简介 LState:存储左边数据流中的数据。 RState:存储右边数据流中的数据。 当左边数据流数据到达的时候会保存到LState,并且到RState中进行Join。将Join生成的结果数据发送到下游。 右边数据流中数据到达的时候,会保存到RState当中,并且到LState中进行Join,然后将Join之嚄胡的结果数据发送到下游。 为了保障左右两边流中需要Join的数据出现在相同节点,Flink SQL会利用Join中的on的关联条件进行分 ......
flink   |  2023-02-11   1 评论   1,385 浏览

Flink 常见问题总结
   Flink大数据常见问题总结。
flink   |  2023-07-01   1 评论   1,094 浏览

Linux 安装最新Neovim
   Neovim是一个社区驱动的开源项目,是Vim文本编辑器的一个分叉版本,它的构建使Vim更容易为核心开发人员维护。是对vim的一个增强,相比与vim性能更好,速度更快。
nvim   |  2023-05-10   0 评论   2,130 浏览