Flink系列之二Flink的窗口和水印

通常来讲,Window 就是用来对一个无限的流设置一个有限的集合,在有界的数据集上进行操作的一种机制。window 又可以分为基于时间(Time-based)的 window 以及基于数量(Count-based)的 window。

本文就 Flink 的窗口类型逐一分析,深入理解 fink 的窗口机制以及事件水印在数据流中的作用。

继续阅读

Flink系列之一初探flink

Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。Flink不仅能同时提供支持高吞吐和严格一次(exactly-once)语义的实时计算,还能提供批量数据处理。

Apache Flink 是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink被设计为可在所有常见的集群环境中运行、并能以内存速度和任意规模进行计算。

本文主要介绍内容如下:
新手如何理解 Flink?
Flink 的基本概念。
无界数据和有界数据的区别。
flink 的执行引擎原理。

继续阅读