云時代的數(shù)據(jù)分析師原來是TA

2017-08-10 14:02:46 作者：來源：CTI論壇評論：0 　點(diǎn)擊：

　　部署優(yōu)質(zhì)高效的大數(shù)據(jù)分析平臺是企業(yè)的愿景，而這背后的門道你知多少？英特爾和金山云幫忙來科普，一起看他們?nèi)绾温?lián)手打造云時代的大數(shù)據(jù)分析師吧！

　　大數(shù)據(jù)時代的到來，令企業(yè)用戶認(rèn)識到利用大數(shù)據(jù)幫助企業(yè)進(jìn)行經(jīng)營決策的重要性，各企業(yè)紛紛著手部署自己的大數(shù)據(jù)分析平臺。但平臺部署的復(fù)雜度及維護(hù)難度卻成為企業(yè)用戶大數(shù)據(jù)發(fā)展的路障。

　　大數(shù)據(jù)處理分析的結(jié)果將對用戶的決策產(chǎn)生直接影響，因此，數(shù)據(jù)處理過程需要更加實時、穩(wěn)定和準(zhǔn)確，這些都對進(jìn)行大數(shù)據(jù)分析處理的動力源平臺提出了更高的性能要求。此外，企業(yè)的業(yè)務(wù)變動會帶來大數(shù)據(jù)處理資源需求的頻繁變動，無論對于自建系統(tǒng)還是云平臺都會造成成本壓力，同時也帶來資源浪費(fèi)。

　　面對挑戰(zhàn)，可以快速部署、彈性擴(kuò)展的金山云KMR產(chǎn)品能提供多種節(jié)點(diǎn)配置，彈性增加或減少節(jié)點(diǎn)，應(yīng)對用戶多變的業(yè)務(wù)需求；同時，分鐘級集群部署和擴(kuò)容能力，可以幫助用戶快速部署。

　　圍繞KMR，金山云還提供云存儲、云主機(jī)、關(guān)系型數(shù)據(jù)庫等一系列服務(wù)，為用戶提供延伸服務(wù)。同時，KMR通過與其他產(chǎn)品整合，也使用戶的運(yùn)營成本更低，數(shù)據(jù)可靠性更高。

　　通過引入英特爾至強(qiáng)處理器E5家族、英特爾固態(tài)盤以及英特爾萬兆位以太網(wǎng)服務(wù)器適配器等產(chǎn)品，KMR產(chǎn)品在處理能力、穩(wěn)定性等多個性能指標(biāo)上都擁有卓越表現(xiàn)。而這些優(yōu)勢又如何為企業(yè)帶來更好的體驗?zāi)兀?/div>

　　完全托管，集群分鐘級快速部署

　　過去，企業(yè)通過自建平臺來進(jìn)行計算、存儲、數(shù)據(jù)處理等工作，這種方式會消耗大量資源在軟、硬件維護(hù)上。例如，部署一個典型的Hadoop平臺，通常需要經(jīng)歷業(yè)務(wù)評估、設(shè)備選型采購、硬件上架調(diào)試、操作系統(tǒng)和平臺軟件安裝調(diào)試等一系列復(fù)雜工作，花費(fèi)1-3個月的時間。同時，企業(yè)在專業(yè)維護(hù)人員上的缺失也使自建平臺在安全性、系統(tǒng)穩(wěn)定性等方面的表現(xiàn)不盡如人意。因此，很多企業(yè)都逐漸將目光轉(zhuǎn)移到云平臺上。

　　盡管如此，向云平臺的轉(zhuǎn)移卻并不能完全消除用戶在部署上遇到的問題，面對不同的業(yè)務(wù)需求，用戶仍需要耗費(fèi)一定的資源去執(zhí)行部署和維護(hù)的工作。KMR的重要優(yōu)勢，就是能最大程度地幫助用戶降低部署的復(fù)雜度和運(yùn)維的工作量。通過采用彈性計算服務(wù) （Kingsoft Elastic Compute，KEC）構(gòu)建集群，通常情況下只需幾分鐘即可自動完成部署工作，用戶只需關(guān)心數(shù)據(jù)處理任務(wù)本身，而不需要關(guān)注硬件和底層系統(tǒng)的運(yùn)維工作。

　　性能優(yōu)化，大數(shù)據(jù)分析即時響應(yīng)

　　大數(shù)據(jù)分析處理的核心目的是為行為決策提供參考，因此時效性是評價其分析平臺能力好壞的重要指標(biāo)。在一些特殊場景中數(shù)據(jù)的處理分析速度帶來的影響更不容小覷。

　　英特爾固態(tài)盤以及英特爾萬兆位以太網(wǎng)服務(wù)器適配器的引入，令KMR性能表現(xiàn)卓越。適用于PCIe的英特爾數(shù)據(jù)中心固態(tài)盤可以直接為英特爾至強(qiáng)處理器提供極致的數(shù)據(jù)吞吐量，在KMR中采用的高性能英特爾以太網(wǎng)聚合網(wǎng)絡(luò)適配器X520-SR2，針對苛刻的數(shù)據(jù)中心/云環(huán)境提供了高度的靈活性以及可擴(kuò)展性。

　　在硬件產(chǎn)品以外，英特爾在各類大數(shù)據(jù)分析軟件庫上的貢獻(xiàn)也為金山云的性能加速提供了動力。例如英特爾高性能數(shù)據(jù)分析加速庫，包含了基于英特爾平臺優(yōu)化的常用機(jī)器學(xué)習(xí)算法庫（如K-Means，LR，PCA等）。在英特爾工程師的協(xié)助下，金山云完成了英特爾數(shù)據(jù)分析加速庫的評測。數(shù)據(jù)分析加速庫K-Means算法對應(yīng)傳統(tǒng)的SparkML-Lib算法有近4.6倍性能提升。

　　生態(tài)豐富，彈性服務(wù)有效降低TCO

　　用戶數(shù)據(jù)從產(chǎn)生到最終體現(xiàn)價值，包含收集、存儲、分析處理和消費(fèi)等多個環(huán)節(jié)，每個環(huán)節(jié)又有多種多樣的需求。除了KMR以外，大數(shù)據(jù)的處理與分析還需要多種云服務(wù)能力的配合�；诮鹕皆曝S富的生態(tài)環(huán)境和良好的開放性，KMR不僅提供了豐富的開源生態(tài)組件，還可以和其他云服務(wù)產(chǎn)品以及第三方的解決方案無縫集成，共同構(gòu)建端到端的大數(shù)據(jù)生態(tài)。

　　以存儲為例，KMR提供了金山云KS3（標(biāo)準(zhǔn)存儲服務(wù)）訪問接口。在進(jìn)行數(shù)據(jù)處理時，通過內(nèi)部高速網(wǎng)絡(luò)直接訪問KS3的同時，也可將原始數(shù)據(jù)統(tǒng)一匯總到這里。KMR集群中運(yùn)行的MapReduce、Spark等作業(yè)就可以直接調(diào)用KS3中存儲的數(shù)據(jù)進(jìn)行計算，并把結(jié)果寫回到KS3。KS3提供了較低的使用成本和極高的數(shù)據(jù)可靠性，保證了在集群釋放時仍然可以持久地存儲原始數(shù)據(jù)和計算結(jié)果。

　　展望未來，新技術(shù)助推更優(yōu)服務(wù)

　　實踐證明，英特爾至強(qiáng)處理器E5產(chǎn)品家族、英特爾固態(tài)盤以及英特爾萬兆位以太網(wǎng)服務(wù)器適配器有助于KMR性能提升，獲得更好用戶體驗。同時，英特爾不斷引領(lǐng)的各項大數(shù)據(jù)開源技術(shù)正為大數(shù)據(jù)處理分析技術(shù)的發(fā)展提供源源不斷的動力。

　　現(xiàn)在，英特爾開源了基于ApacheSpark的分布式深度學(xué)習(xí)庫BigDL，可以直接運(yùn)行在金山云一類的Hadoop/Spark集群上，并允許用戶編寫標(biāo)準(zhǔn)的Spark程序來進(jìn)行深度學(xué)習(xí)的訓(xùn)練與預(yù)測。

　　未來，通過提供類似于BigDL的先進(jìn)技術(shù)，英特爾可以幫助金山云的用戶在KMR及相關(guān)平臺上獲得數(shù)據(jù)存儲、預(yù)處理、分析和深度學(xué)習(xí)等一站式服務(wù)，獲得更強(qiáng)勁的大數(shù)據(jù)分析和處理能力。

【免責(zé)聲明】本文僅代表作者本人觀點(diǎn)，與CTI論壇無關(guān)。CTI論壇對文中陳述、觀點(diǎn)判斷保持中立，不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔(dān)全部責(zé)任。