数码 返回
天气预报 > 数码 > flink和spark对比
flink和spark对比
更新时间： 2022-01-06 09:58:05  

1、技术理念不同：Spark的技术理念是使用微批来模拟流的计算，基于Micro-batch,数据流以时间为单位被切分为一个个批次，通过分布式数据集RDD进行批量处理，是一种伪实时。而Flink是基于事件驱动，它是一个面向流的处理框架， Flink基于每个事件一行一行地流式处理，是真正的流式计算。 另外他也可以基于流来模拟批进行计算实现批处理，在技术上具有更好的扩展性。

2、时间机制：SparkStreaming只支持处理时间， 折中地使用processing time来近似地实现event time相关的业务。使用processing time模拟event time必然会产生一些误差， 特别是在产生数据堆积的时候，误差则更明显，甚至导致计算结果不可用，Structured streaming 支持处理时间和事件时间，同时支持 watermark 机制处理滞后数据Flink 支持三种时间机制：事件时间、注入时间、处理时间、同时支持 watermark 机制处理迟到的数据，说明Flink在处理乱序大实时数据的时候，优势比较大。

关键词： flink spark 对比

flink和spark对比相关经验

天气预报

最新推荐

页面:/news/view-1241499/ | 耗时:0.7202 s | 内存:2.11 MB | 查询:4 | 缓存读取:3 写入:0 | 加载文件:25
select * from tbl_Articles WHERE ArticleID=1241499 LIMIT 0,1
select * from tbl_Articles_data WHERE ArticleID=1241499 LIMIT 0,1
select * from tbl_Articles_sphinx where id=1241499 LIMIT 0,1
SELECT ArticleID,Title FROM tbl_Articles WHERE ArticleID IN(1526499,84423,3224318,1242782,1208829,99179,99148,98803,2992602,2639194,2337258,636126,2936541,1226554,3226906,1087853,3074765,1526067,1256255,1095874,1223801,869260,1239959,1231341,1175253,1596071,1239003,1098881,1084111,1152094) ORDER BY field (ArticleID,1526499,84423,3224318,1242782,1208829,99179,99148,98803,2992602,2639194,2337258,636126,2936541,1226554,3226906,1087853,3074765,1526067,1256255,1095874,1223801,869260,1239959,1231341,1175253,1596071,1239003,1098881,1084111,1152094)