spark structure streaming_spark实践

(2) 2024-08-23 13:23

Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说
spark structure streaming_spark实践,希望能够帮助你!!!。

一、本质

Spark Streaming是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理

二、Spark Streaming和Spark Core

2.1 逻辑关系:

spark structure streaming_spark实践_https://bianchenghao6.com/blog__第1张

2.2 物理关系:

spark structure streaming_spark实践_https://bianchenghao6.com/blog__第2张

1) DStream:Spark Streaming提供了表示连续数据流的、高度抽象的被称为离散流的DStream

2) 任何对DStream的操作都会转变为对底层RDD的操作。

2.3 算子关系:

1) Spark Streaming 算子分为TransformationOutput

2) Transformation包括Spark中的Transform和部分的Action(Reduce、Count等)

3) Output:

• Print

• saveAsObjectF

今天的分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。

上一篇

已是最后文章

下一篇

已是最新文章

发表回复