Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说
spark structure streaming_spark实践,希望能够帮助你!!!。
Spark Streaming是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理
1) DStream:Spark Streaming提供了表示连续数据流的、高度抽象的被称为离散流的DStream
2) 任何对DStream的操作都会转变为对底层RDD的操作。
1) Spark Streaming 算子分为Transformation和Output
2) Transformation包括Spark中的Transform和部分的Action(Reduce、Count等)
3) Output:
• saveAsObjectF
今天的分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
上一篇
已是最后文章
下一篇
已是最新文章