Bolo  当前访客:4 管理登录

小令童鞋

梅干菜你个小酥饼哦。

机器学习知识点总结(长期更新) 置顶!

2020-04-27 23:11:44 zeekling
2  评论    915  浏览

主要是为了列个机器学习相关的提纲,方便对已经学过的知识进行整理,相同的知识点,每次或者每个阶段都会有不同的想法,而我需要做的就是把自己的想法写下来.

Kafka概述

2020-05-24 20:58:12 zeekling
0  评论    51  浏览

Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。

,

Kafka深入解析

2020-05-24 21:37:48 zeekling
0  评论    67  浏览

Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。
topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,以便出错恢复时,从上次的位置继续消费。

,

Kafka API操作实践

2020-05-24 12:18:00 zeekling
0  评论    112  浏览

  Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。
Consumer消费数据时的可靠性是很容易保证的,因为数据在Kafka中是持久化的,故不用担心数据丢失问题。
  由于consumer在消费过程中可能会出现断电宕机等故障,consumer恢复后,需要从故障前的位置的继续消费,所以consumer需要实时记录自己消费到了哪个offset,以便故障恢复后继续消费。
  所以offset的维护是Consumer消费数据是必须考虑的问题。

,

Flink 写入数据到 Kafka

2020-05-24 12:18:30 zeekling
0  评论    81  浏览

通过Flink官网可以看到Flink里面就默认支持了不少sink,比如也支持Kafka sink connector(FlinkKafkaProducer),那么这篇文章我们就来看看如何将数据写入到Kafka。

,

自定义Data Sink

2020-05-24 12:19:16 zeekling
0  评论    99  浏览

上一篇文章介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。

,

如何自定义 Data Source

2020-05-24 12:19:44 zeekling
0  评论    72  浏览

Data Source 介绍 文章中,我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source,这篇文章更详细的介绍下,并写一个 demo 出来让大家理解。

,

Data Sink 介绍

2020-05-24 12:20:05 zeekling
0  评论    90  浏览

Source 就是数据的来源,中间的 Compute 其实就是 Flink 干的事情,可以做一系列的操作,操作完后就把计算后的数据结果 Sink 到某个地方。(可以是 MySQL、ElasticSearch、Kafka、Cassandra 等)。这里我说下自己目前做告警这块就是把 Compute 计算后的结果 Sink 直接告警出来了(发送告警消息到钉钉群、邮件、短信等),这个 sink 的意思也不一定非得说成要把数据存储到某个地方去。其实官网用的 Connector 来形容要去的地方更合适,这个 Connector 可以有 MySQL、ElasticSearch、Kafka、Cassandra RabbitMQ 等。

,

Data Source 介绍

2020-05-24 12:20:35 zeekling
0  评论    87  浏览

Data Sources 是什么呢?就字面意思其实就可以知道:数据来源。
Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时的处理些实时数据流,实时的产生数据流结果,只要数据源源不断的过来,Flink 就能够一直计算下去,这个 Data Sources 就是数据的来源地。

,

Flink 配置文件详解

2020-05-24 12:21:00 zeekling
0  评论    122  浏览

flink 的安装参照:flink 简单入门, 我们来了解下flink的配置文件。

,
TOP