全國咨詢/投訴熱線:400-618-4000

Spark Streaming工作原理是什么?

更新時間:2020年12月28日17時25分 來源:傳智教育 瀏覽次數:

  Spark Streaming支持從多種數據源獲取數據,包括Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP Sockets數據源。當Spark Streaming從數據源獲取數據之后,則可以使用諸如map、reduce、join和window等高級函數進行復雜的計算處理,最后將處理的結果存儲到分布式文件系統、數據庫中,最終利用實時Web儀表板進行展示。Spark Streaming支持的輸入、輸出源如圖1所示。

圖1 Spark Streaming支持的輸入、輸出數據源

  為了可以深入的理解Spark Streaming,接下來,通過一張圖對Spark Streaming的內部工作原理進行詳細講解,如圖2所示。

圖2 Spark Streaming工作原理

  在圖2中,Spark Streaming先接收實時輸入的數據流,并且將數據按照一定的時間間隔分成一批批的數據,每一段數據都轉變成Spark中的RDD,接著交由Spark引擎進行處理,最后將處理結果數據輸出到外部儲存系統。


猜你喜歡:

Spark Streaming框架有什么特點?

Spark生態系統包含哪些組件?【大數據培訓】

Spark與Hadoop有哪些區別?【大數據培訓】

傳智教育大數據培訓課程

人妻系列无码专区_漂亮人妻被中出中文字幕_人妻中文制服巨乳中文