ELK Stack 是 Elasticsearch、Logstash、Kibana 三個開源軟件的組合。在實時數據檢索和分析場合,三者通常是配合共用,而且又都先后歸于 Elastic.co 公司名下,故有此簡稱。 查看全文>>
大數據技術文章2017-12-18 |傳智播客 |云計算大數據,ELK技術棧
2011年在海量數據處理領域,Hadoop是人們津津樂道的技術,Hadoop不僅可以用來存儲海量數據,還以用來計算海量數據。因為其高吞吐、高可靠等特點,很多互聯網公司都已經使用Hadoop來構建數據倉庫,高頻使用并促進了Hadoop生態圈的各項技術的發展... 查看全文>>
大數據技術文章2015-12-29 |傳智播客云計算學科 |處理數據,Hadoop,Storm
Spark SQL可以通過JDBC從關系型數據庫中讀取數據的方式創建DataFrame,通過對DataFrame一系列的計算后,還可以將數據再寫回關系型數據庫中... 查看全文>>
大數據技術文章2015-12-29 |傳智播客云計算學科 |JDBC,MySQL,Spark,SQL
Spark SQL 是一個用來處理結構化數據的spark組件。它提供了一個叫做DataFrames的可編程抽象數據模型,并且可被視為一個分布式的SQL查詢引擎... 查看全文>>
大數據技術文章2015-12-29 |傳智播客云計算學科 |Spark,SQL
Spark是用Scala語言開發的,目前對Scala語言支持較好的是IDEA的插件,這里我們編寫一個Spark入門級程序,然后用Maven編譯成jar包,然后提交到集群... 查看全文>>
大數據技術文章2015-12-29 |傳智播客云計算學科 |Spark,Spark入門
MapReduce中的GroupingComparator應用案例 在日常的數據統計分析中,常常會有類似如下的求分組最大值統計需求,用到的數據示例如下: itemid amount date … 10001 136.6 2015-1-12 … 10001 165.5 2015-1-12 … 10002 122.5 2015-1-12 … 10002 166.88 2015-1-12 … 10003 189.65 2015-1-12 … 10003 198.62 2015-1-13 … 10001 278.6 2015-1-13 … 10001 143.6 2015-1-13 … 查看全文>>
大數據技術文章2015-12-29 |傳智播客云計算學科 |云計算,應用案例