全國咨詢/投訴熱線:400-618-4000

Spark有什么特點?【大數據培訓】

更新時間:2020年04月24日15時32分 來源:傳智播客 瀏覽次數:

Spark計算框架在處理數據時,所有的中間數據都保存在內存中。正是由于Spark充分利用內存對數據進行計算,從而減少磁盤讀寫操作,提高了框架計算效率。同時Spark還兼容HDFS、Hive,可以很好地與Hadoop系統融合,從而彌補MapReduce高延遲的性能缺點。所以說,Spark是一個更加快速、高效的大數據計算平臺。推薦了解傳智播客大數據培訓課程。

學大數據就來傳智播客


Spark具有以下幾個顯著的特點:

1、速度快

小生根據官方數據統計,與Hadoop相比,Spark基于內存的運算效率要快100倍以上,基于硬盤的運算效率也要快10倍以上。Spark實現了高效的DAG執行引擎,能夠通過內存計算高效地處理數據流。

2、易用性

Spark編程支持Java、Python、Scala及R語言,并且還擁有超過80種高級算法,除此之外,Spark還支持交互式的Shell操作,開發人員可以方便地在Shell客戶端中使用Spark集群解決問題。

3、通用性

Spark提供了統一的解決方案,適用于批處理、交互式查詢(SparkSQL)、實時流處理(SparkStreaming)、機器學習(SparkMLlib)和圖計算(GraphX),它們可以在同一個應用程序中無縫地結合使用,大大減少大數據開發和維護的人力成本和部署平臺的物力成本。

4、兼容性

Spark開發容pSpark可以運行在Hadoop模式、Mesos模式、Standalone獨立模式或Cloud中,并且還可以訪問各種數據源,包括本地文件系統、HDFS、Cassandra、HBase和Hive等。

猜你喜歡:

Spark生態系統包含哪些組件?

人妻系列无码专区_漂亮人妻被中出中文字幕_人妻中文制服巨乳中文