Kafka深入解析

大数据

Kafka深入解析

Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。 topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。 ......
阅读更多
Kafka API操作实践

大数据

Kafka API操作实践

  Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator， ......
阅读更多
Flink 写入数据到 Kafka

大数据

Flink 写入数据到 Kafka

通过Flink官网可以看到Flink里面就默认支持了不少sink，比如也支持Kafka sink connector（FlinkKafkaProducer），那么这篇文章我们就来看看如何将数据写入到Kafka。
阅读更多
自定义Data Sink

大数据

自定义Data Sink

上一篇文章介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。
阅读更多
如何自定义 Data Source

大数据

如何自定义 Data Source

在 Data Source 介绍 文章中，我给大家介绍了 Flink Data Source 以及简短的介绍了一下自定义 Data Source，这篇文章更详细的介绍下，并写一个 demo 出来让大家理解。
阅读更多
Data Sink 介绍

大数据

Data Sink 介绍

Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方。（可以是 MySQL、ElasticSearch、Kafka、Cassandra 等）。这里我说下 ......
阅读更多
Data Source 介绍

大数据

Data Source 介绍

Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Fl ......
阅读更多
Flink 配置文件详解

大数据

Flink 配置文件详解

flink 的安装参照：flink 简单入门， 我们来了解下flink的配置文件。
阅读更多
flink 简单入门

大数据

flink 简单入门

最近开始学习flink相关的，本文只是讲述怎么简单的搭建flink以及简单的使用一个demo。
阅读更多
关于技术栈的思考

生活相关

关于技术栈的思考

学过一年多的机器学习(虽然没怎么用)，现在有学大数据，就怕以后啥都不懂。
阅读更多
小令童鞋-公告

    万物有界，爱恨无由。

    公众号

    扫描关注微信公众号

小令童鞋-访问最多的文章
小令童鞋-标签
原创 49
转载 36
redis 26
机器学习 21
生活 20
源码 14
博客 9
Java 8
flink 7
命令 7
小令童鞋-分类
小令童鞋-最新评论
小令童鞋-公告

    万物有界，爱恨无由。

    公众号

    扫描关注微信公众号

  
访问最多的文章
小令童鞋-标签
原创 49
转载 36
redis 26
机器学习 21
生活 20
源码 14
博客 9
Java 8
flink 7
命令 7