广告位

您现在的位置是:九头鸟新媒体 > 产品 > 评测分析 >

Flink的窗口类型详解

2021-06-17 02:47评测分析 人已围观

简介鸟哥笔记文章,...

这是我的第87篇原创

鸟哥笔记,数据运营,大数据架构师,

窗口函数真奇妙,聚合计算快又好,

数据分析宝中宝,表哥表妹不能少,不!能!少!


在我刚入行的时候,还不懂啥窗口函数,想出一张报表那叫一个费劲啊,各种自关联、行转列、列转行玩的不亦乐乎。

后来知道有个叫“窗口函数/聚合函数”的东西,简直把我惊呆了,感觉好几年的功夫都白练了。

之前给大家分享过Hive的窗口函数全解,点击查看:【面试必问】窗口函数全解-HIVE




无限数据流的统计问题



今天给大家分享一下Flink的Windows。Hive的窗口函数其实跟MySQL的差不多,因为他们都是基于离线数据的聚合。Flink的windows和Hive的窗口函数不完全一样。


离线数据处理好理解,数据已经落地在一张表里,咱可以通过partition by,按照某个字段进行分区,通过order进行排序,通过between进行范围限定,然后通过LEAD、FIRST_VALUE等进行定位,最后通过sum、avg等聚合函数进行计算。这就像计算图片中有多少个植物一样清晰明了。实在不行,咱硬数也是能行的。

鸟哥笔记,数据运营,大数据架构师,


但是Flink里的数据是个流,数据压根就不会落地,这咋进行计算啊?这是一个“无限游戏”啊!好比你得算一下植物大战僵尸里被射出多少颗豌豆**一样。非要计算,就只能永远计算一个不断增大的累计数而已。

鸟哥笔记,数据运营,大数据架构师,

除非咱能像截图一样,让数据停下来,然后咱再一颗一颗去数,否则根本没法算清楚范围内有多少颗豌豆**。这根本没法分析啊!




Flink的窗口类型



Flink是怎么解决这个问题的呢?很简单,设置一个固定的观察窗口,不停的计算窗口内的豌豆**数就可以了。这样就把无限数据流,变成有限数据块了。这样问题就解决了。

鸟哥笔记,数据运营,大数据架构师,

但是,有个问题,怎么划分窗口的范围呢?也就是说,如何切割窗口呢?几个办法:

1、用时间切割窗口,每过N秒记为一个window,即TimeWindow;

鸟哥笔记,数据运营,大数据架构师,

2、用数据量切割窗口,每N个数据记为一个window,即CountWindow;

鸟哥笔记,数据运营,大数据架构师,

3、用session切割窗口,数据流中断N秒记为一个window,即Sessionwindow;

鸟哥笔记,数据运营,大数据架构师,

4、不限定,从一开始到现在不断累计计算,即global window。这种状态下,Flink并行度只能为1。

鸟哥笔记,数据运营,大数据架构师,


另外,对于TimeWindow和CountWindow,分别还有两种细分类型:滚动窗口和滑动窗口

滚动窗口就是一个固定区间(时间或者数量),不断滚动,区间严格分离,不会重复。

鸟哥笔记,数据运营,大数据架构师,

鸟哥笔记,数据运营,大数据架构师,

滑动窗口顾名思义,就是窗口区间是可以拖动的,所以会重复。

鸟哥笔记,数据运营,大数据架构师,


对了,针对数据本身,Flink还设置了keyed和non keyed两种windows,这是为了后续处理用的。其实就是解决你是否要区分**类型的:

鸟哥笔记,数据运营,大数据架构师,

如果用了keyed windows,Flink会把相同key的数据发送到同一个task里进行处理,这样并行度就高了。

如果用了Non Keyed Windows,那么所有数据都会放在一个task里操作,并行度也就只能为1了。


总结一下,Flink的窗口按切割方式、是否有key值、滑动还是滚动三个维度,分为以下几种情况:

鸟哥笔记,数据运营,大数据架构师,

基本上这些窗口就能满足所有业务需求了。


下次再分享Flink窗口的其他内容~~~


配合以下文章享受更佳






【详解 | Flink的Checkpoints机制详解


【详解】 |  MapReduce环形缓冲区


【详解】 |  分布式一致性协议-Paxos


我需要你的点赞,爱你哟鸟哥笔记,数据运营,大数据架构师,

Tags:

广告位
    广告位
    广告位

标签云

站点信息

  • 文章统计18576篇文章
  • 标签管理标签云
  • 微信公众号:扫描二维码,关注我们