183.17.228.* 2020-03-26 13:25:43 |
大數據平臺:是指以處理海量數據存儲、計算及不間斷流數據實時計算等場景為主的一套基礎設施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。
大數據平臺的功能:
1、容納海量數據
利用計算機群集的存儲和計算能力。不僅在性能上有所擴展,而且其處理傳入的大量數據流的能力也相應提高。
2、速度快
結合列式數據庫架構(相對于基于行的非并行處理傳統數據庫)和使用大規模并行處理技術,不僅能夠大幅提高性能(通常約100到1000倍),還可以實現更低且更透明的定價機制。
3、兼容傳統工具
確保平臺已經過認證,可以兼容傳統工具。
4、利用Hadoop
Hadoop已成為大數據領域中的主要平臺。利用Hadoop作為用于持久性和輕量型數據管理的**益平臺。
5、為數據科學家提供支持
數據科學家在企業IT中擁有著更高的影響力和重要性,快速、**、易于使用和廣泛部署的大數據平臺可以幫助拉近商業人士和技術專家之間的距離。
6、提供數據分析功能
確保大數據平臺不僅支持在數秒鐘內準備并加載數據,還支持利用**算法建立預測模型,輕松部署模型以進行數據庫內計分。同時使數據科學家能夠使用現有統計軟件包和**語言。
如何搭建大數據分析平臺?
一般性步驟:
1、Linux系統安裝
2、分布式計算平臺/組件安裝
當前分布式系統的大多使用的是Hadoop系列開源系統
3、數據導入
數據導入的工具是Sqoop
4、數據分析
數據分析一般包括兩個階段:數據預處理和數據建模分析。
數據預處理這個過程可能會用到Hive SQL,Spark QL和Impala。
數據建模分析**用的是Spark
5、結果可視化及輸出API
可視化一般式對結果或部分原始數據做展示。
大數據分析平臺有哪些功能.中琛魔方大數據(www.zcmorefun.com)溫馨提醒:在搭建大數據分析平臺之前,要先明確業務需求場景以及用戶的需求,通過大數據分析平臺,想要得到哪些有價值的信息,需要接入的數據有哪些,明確基于場景業務需求的大數據平臺要具備的基本的功能,來決定平臺搭建過程中使用的大數據處理工具和框架。 |