隨著社交媒體、移動(dòng)化和云計(jì)算的發(fā)展,數(shù)據(jù)分析及相關(guān)的技術(shù)已經(jīng)作為一款具有顛覆性的技術(shù)在這個(gè)數(shù)字時(shí)代占有了一席之地了。在過去的2015年中,我們已經(jīng)看到對(duì)大數(shù)據(jù)的分析利用正被一股強(qiáng)大的利用新的數(shù)據(jù)技術(shù)以加強(qiáng)商務(wù)智能的推動(dòng)力推動(dòng)著由測(cè)試步入到了生產(chǎn)階段。
Hadoop發(fā)行商Hortonworks公司的CTOScottGnau預(yù)測(cè)以下趨勢(shì)將在2016年主導(dǎo)數(shù)據(jù)和分析市場(chǎng)領(lǐng)域:
獲取一切可提供洞察分析價(jià)值的數(shù)據(jù)
在2016年,企業(yè)將著眼于從所有數(shù)據(jù)中獲得洞察價(jià)值,Gnau表示說?!斑@不只是關(guān)于物聯(lián)網(wǎng),而是要通過互聯(lián)網(wǎng)連接起凡是能夠提供洞察分析價(jià)值的一切設(shè)備?!彼f?!拔覀円絺鞲衅鞯认嚓P(guān)設(shè)備,著眼于一切可以從中獲取洞察價(jià)值數(shù)據(jù)信息的設(shè)備,這包括來自企業(yè)生產(chǎn)過程中的服務(wù)器日志、地理位置和來自互聯(lián)網(wǎng)的所有數(shù)據(jù)?!?/p>
重視邊緣數(shù)據(jù)
Gnau表示說,企業(yè)必須超越他們的數(shù)據(jù)中心并開始重視利用邊緣的數(shù)據(jù)。他指出,數(shù)據(jù)流現(xiàn)在收集了來自許多傳感器和服務(wù)器之外的設(shè)備上的數(shù)據(jù),例如,來自海上的石油鉆塔或太空中的衛(wèi)星。這使得管理安全邊界及提供跨系統(tǒng)的完整數(shù)據(jù)源有一個(gè)巨大的機(jī)會(huì)。Gnau表示說IoAT創(chuàng)建了一個(gè)新的模式,需要新的思維和新的數(shù)據(jù)管理系統(tǒng),而這些解決方案將在2016年變得更加成熟,并進(jìn)一步滲透到企業(yè)運(yùn)用中去。
運(yùn)動(dòng)平臺(tái)的數(shù)據(jù)
在2016年,業(yè)界將看到運(yùn)動(dòng)平臺(tái)的數(shù)據(jù)運(yùn)用的發(fā)展。“企業(yè)用戶有對(duì)于更高級(jí)別的平臺(tái)來處理許多設(shè)備協(xié)議,并把所有的數(shù)據(jù)流匯集到Hadoop的需要。”Gnau表示說?!霸撈脚_(tái)需要方便多協(xié)議語言的通信。運(yùn)動(dòng)數(shù)據(jù)和靜態(tài)數(shù)據(jù)的整合是2016年中的一個(gè)大機(jī)會(huì)?!?/p>
大數(shù)據(jù)變得容易
有市場(chǎng)對(duì)于簡(jiǎn)化大數(shù)據(jù)技術(shù)方面有需要,并為此在所有層面都存在的機(jī)會(huì):技術(shù)、消費(fèi)等領(lǐng)域。Gnau表示說,在2016年,數(shù)據(jù)分析技術(shù)將明顯有趨于走向簡(jiǎn)單化的趨勢(shì)?!盁o論你是集群操作員、安全管理員或是數(shù)據(jù)分析員,每個(gè)人都希望Hadoop及其相關(guān)的大數(shù)據(jù)技術(shù)是簡(jiǎn)單直接的?!彼f?!捌涮幚磉^程就像一個(gè)單一的集成開發(fā)經(jīng)驗(yàn)或減少設(shè)置或配置文件的數(shù)量一樣將開始出現(xiàn)一刀切的模式?!?/p>
Hadoop用于關(guān)鍵任務(wù)工作負(fù)載
在2016年,Hadoop將被用于交付更多的關(guān)鍵任務(wù)工作負(fù)載,并超出“網(wǎng)絡(luò)規(guī)?;钡钠髽I(yè),Gnau預(yù)測(cè)說?!半m然像雅虎、Spotify和TrueCar這樣的公司都建立了相關(guān)的業(yè)務(wù)部門以便充分利用Hadoop,我們將看到更多的傳統(tǒng)企業(yè)使用Hadoop,以便從其所管理的大量數(shù)據(jù)中提取有價(jià)值的見解,并提供新的關(guān)鍵業(yè)務(wù)分析應(yīng)用程序,而這想要簡(jiǎn)單地實(shí)現(xiàn),沒有Hadoop是不可能的?!彼f。
IT系統(tǒng)管理解決方案提供商Adaptiva公司創(chuàng)始人兼首席技術(shù)官迪帕克·庫(kù)馬爾預(yù)測(cè):
今年,數(shù)據(jù)將得到限制
“對(duì)于數(shù)據(jù)的使用將變得更加規(guī)范,因?yàn)楣?yīng)商將無法跟上數(shù)據(jù)的需求;而企業(yè)也將無法跟上成本的上漲?!睅?kù)馬爾說。“這樣一來,企業(yè)將開始利用技術(shù)來監(jiān)測(cè)這些數(shù)據(jù)。”
系統(tǒng)管理將因?yàn)榇髷?shù)據(jù)分析而變得智能化
“大數(shù)據(jù)分析解決方案的集成整合將繼續(xù)功虧一簣,留下未連接的孤島的數(shù)據(jù)的業(yè)務(wù)洞察力未被發(fā)現(xiàn)——而系統(tǒng)管理將介入幫助。”他說。
能源分析專家FirstFuel軟件公司首席數(shù)據(jù)科學(xué)家巴德里·拉加表示,在2016年,我們將看到:
數(shù)據(jù)的運(yùn)用更加民主普及化
拉加說,多虧了像亞馬遜的MechanicalTurk這樣的解決方案,使得企業(yè)和個(gè)人用戶將能夠更方便地收集來自世界各地的數(shù)據(jù)信息,而在此之前他們是無法實(shí)現(xiàn)的?!安粌H能夠更容易的找到數(shù)據(jù),同時(shí)更加用戶友好的工具的出現(xiàn)將使人們無需具備大量的數(shù)據(jù)知識(shí)就能進(jìn)行數(shù)據(jù)信息分析,從而確保獲得有意義的價(jià)值洞察了?!彼f。
對(duì)于數(shù)據(jù)隱私權(quán)問題的關(guān)注將增加
歐洲最近制定了嚴(yán)格的數(shù)據(jù)監(jiān)管規(guī)定,這意味著企業(yè)用戶將需要針對(duì)如何解決數(shù)據(jù)安全問題制定相應(yīng)的戰(zhàn)略。”企業(yè)已經(jīng)不能僅僅將數(shù)據(jù)隱私問題視為一個(gè)事后考慮的事項(xiàng)了,他們需要主動(dòng)的解釋他們是如何使用數(shù)據(jù)的,確保其符合企業(yè)所在地及全球的相關(guān)監(jiān)管法律法規(guī)?!彼f。
為了從數(shù)據(jù)分析中發(fā)掘數(shù)據(jù)價(jià)值見解,新的應(yīng)用程序?qū)⒈婚_發(fā)
拉加說,在2016年,企業(yè)和個(gè)人用戶將進(jìn)一步挖掘數(shù)據(jù)并進(jìn)行分析,以提供個(gè)性化的引人入勝的跨行業(yè)的數(shù)據(jù)體驗(yàn),包括能源,體育,社會(huì)公益和音樂領(lǐng)域?!氨热纾藗儗⒛軌蚴褂脭?shù)據(jù)以根據(jù)自己的個(gè)人喜好來改變歌曲?!彼f。
商業(yè)智能和分析企業(yè)Tableau軟件公司的產(chǎn)品營(yíng)銷總監(jiān)丹·高根預(yù)測(cè)了2016年大數(shù)據(jù)領(lǐng)域的一系列發(fā)展趨勢(shì),包括:
NoSQL獲得發(fā)展
高根說,2016年,NoSQL數(shù)據(jù)庫(kù)將成為領(lǐng)先的企業(yè)IT環(huán)境,作為無模式的數(shù)據(jù)庫(kù)概念的優(yōu)勢(shì)會(huì)變得更加明顯?!皼]有比從Gartner的運(yùn)行數(shù)據(jù)庫(kù)管理系統(tǒng)魔力象限能夠看到更加令人震驚的顯示畫面了?!倍@在過去,甲骨文,IBM,微軟和SAP是占主導(dǎo)地位的?!跋啾戎拢谧罱哪Яο笙拗?,我們看到了研發(fā)NoSQL的公司,包括MongoDB、DataStax、Redis實(shí)驗(yàn)室、MarkLogic和亞馬遜網(wǎng)絡(luò)服務(wù)(其DynamoDB產(chǎn)品),數(shù)量上超過了Gartner的領(lǐng)導(dǎo)者象限報(bào)告的傳統(tǒng)數(shù)據(jù)庫(kù)供應(yīng)商。
ApacheSpark進(jìn)一步用于大數(shù)據(jù)分析
ApacheSpark已經(jīng)從Hadoop系統(tǒng)的一個(gè)組件成為了不少企業(yè)大數(shù)據(jù)平臺(tái)的選擇了?!拜^之Hadoop,Spark為數(shù)據(jù)處理速度帶來了大幅的提升,并且已經(jīng)成為目前規(guī)模最大的大數(shù)據(jù)開源項(xiàng)目了,根據(jù)Spark項(xiàng)目的發(fā)起者和Databricks的聯(lián)合創(chuàng)始人馬泰扎哈里亞介紹?!备吒f?!拔覀儗⒖吹皆絹碓蕉嗟钠髽I(yè)使用案例Spark,例如,在高盛集團(tuán),Spark已成為大數(shù)據(jù)分析的’通用語言’。”
大數(shù)據(jù)進(jìn)一步成熟
Hadoop被添加到了企業(yè)標(biāo)準(zhǔn)。高根說,企業(yè)利用Hadoop的能力將在2016年變得成熟?!白鳛槠溥M(jìn)一步成熟的證據(jù),Hadoop的不斷發(fā)展的趨勢(shì)將使其成為企業(yè)IT規(guī)劃的核心部分,我們將看到圍繞著諸如安全這樣的企業(yè)系統(tǒng)組件投資的增長(zhǎng)?!彼f。“ApacheSentry項(xiàng)目為實(shí)施細(xì)粒度提供了一個(gè)系統(tǒng),基于角色的授權(quán)將數(shù)據(jù)和元數(shù)據(jù)存儲(chǔ)在Hadoop集群上。這些都是客戶希望從他們的企業(yè)級(jí)RDBMS平臺(tái)和現(xiàn)在的新興大數(shù)據(jù)技術(shù)能夠獲得的前沿的能力類型,從而進(jìn)一步消除了企業(yè)采用的一大障礙。”
大數(shù)據(jù)獲得快速發(fā)展,并進(jìn)一步促進(jìn)Hadoop的采用
高根說,2016年,我們將看到Hadoop獲得傳統(tǒng)上一直與數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的性能?!半S著Hadoop獲得更多對(duì)于企業(yè)用戶的吸引力,我們將看到來自最終用戶對(duì)于同樣快速的數(shù)據(jù)探索的能力的不斷增長(zhǎng)的需求,這與他們對(duì)于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)的期望是一樣的?!彼f?!盀榱藵M足最終用戶的需求,我們看到越來越多地對(duì)于諸如ClouderaImpala、AtScale、ActianVector和JethroData等新技術(shù)的采用——這進(jìn)一步模糊了”傳統(tǒng)”BI和“大數(shù)據(jù)”之間的概念。
幫助最終用戶發(fā)現(xiàn)所有形式的數(shù)據(jù)增長(zhǎng)的選擇數(shù)量進(jìn)一步增加
自助服務(wù)的數(shù)據(jù)準(zhǔn)備工具正在爆炸式的普及。高根說,部分的原因是由于轉(zhuǎn)向企業(yè)-用戶生成的數(shù)據(jù)發(fā)現(xiàn)工具的采用,如Tableau,減少了分析數(shù)據(jù)的時(shí)間?!捌髽I(yè)用戶現(xiàn)在希望也能夠減少數(shù)據(jù)分析的準(zhǔn)備時(shí)間和復(fù)雜度,尤其重要的是在處理各種數(shù)據(jù)類型和格式時(shí)?!彼f?!蔽覀円呀?jīng)看到了這一領(lǐng)域的創(chuàng)新,包括從專注于最終用戶準(zhǔn)備的大數(shù)據(jù)公司如Alteryx、Trifacta、Paxata和Lavastorm,同時(shí)還看到有長(zhǎng)期的ETL領(lǐng)域的領(lǐng)軍企業(yè)如Informatica公司對(duì)于其REV產(chǎn)品進(jìn)行的大量的投資。”
MPP數(shù)據(jù)倉(cāng)庫(kù)在云中的增長(zhǎng)正在升溫
高根說,數(shù)據(jù)倉(cāng)庫(kù)的“死亡”已經(jīng)被炒作了一段時(shí)間了,而在這一細(xì)分市場(chǎng)的增長(zhǎng)已經(jīng)放緩也已經(jīng)不是什么秘密了?!暗覀儸F(xiàn)在將看到這項(xiàng)技術(shù)應(yīng)用程序轉(zhuǎn)移到云計(jì)算的一個(gè)重大轉(zhuǎn)變,在這一個(gè)領(lǐng)域亞馬遜憑借其在Redshift的按需云數(shù)據(jù)倉(cāng)庫(kù)占據(jù)了主導(dǎo)?!彼f?!癛edshift是AWS增長(zhǎng)最快的業(yè)務(wù),但其現(xiàn)在需要面臨來自谷歌BigQuery、以及來自提供長(zhǎng)期數(shù)據(jù)倉(cāng)庫(kù)的強(qiáng)勢(shì)競(jìng)爭(zhēng)者如微軟產(chǎn)品(AzureSQL數(shù)據(jù)倉(cāng)庫(kù))和Teradata的競(jìng)爭(zhēng)、還有來自諸如2015年Strata+HadoopWorld獲勝者初創(chuàng)公司Snowflake的競(jìng)爭(zhēng)。分析人士認(rèn)為,那些已經(jīng)采用Hadoop的企業(yè)中,有90%的企業(yè)還會(huì)繼續(xù)保持他們的數(shù)據(jù)倉(cāng)庫(kù),通過這些新的云服務(wù)產(chǎn)品,這些客戶可以相對(duì)于存儲(chǔ)在他們的Hadoop數(shù)據(jù)湖的更大量的數(shù)據(jù)信息,能夠動(dòng)態(tài)地在數(shù)據(jù)倉(cāng)庫(kù)中向上或向下擴(kuò)展的存儲(chǔ)和計(jì)算資源。
融合收斂的流行:物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)結(jié)合到了一起
該技術(shù)仍處于初期階段,但來自物聯(lián)網(wǎng)設(shè)備上的數(shù)據(jù)將成為“殺手級(jí)應(yīng)用”,成為推動(dòng)云和PB級(jí)數(shù)據(jù)爆炸式增長(zhǎng)的驅(qū)動(dòng)因素之一,高根說。“出于這個(gè)原因,我們將看到了領(lǐng)先的云服務(wù)和數(shù)據(jù)公司,如谷歌、亞馬遜網(wǎng)絡(luò)服務(wù)和微軟將把物聯(lián)網(wǎng)服務(wù)帶入我們的生活,使得數(shù)據(jù)可以無縫地遷移到他們的基于云的分析引擎?!彼f。
數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)分析專家企業(yè)Teradata公司的企業(yè)系統(tǒng)總經(jīng)理丹·格雷厄姆表達(dá)了他對(duì)于2016年的預(yù)測(cè):
企業(yè)將重新設(shè)置Hadoop
格雷厄姆認(rèn)為,在2016年,我們將看到企業(yè)汲取他們從以往的部署到重新構(gòu)建他們的方法的相關(guān)經(jīng)驗(yàn)教訓(xùn)?!半S著Hadoop和相關(guān)開源技術(shù)超越了純粹的知識(shí)收集,以及炒作的消退,企業(yè)將重新設(shè)置(但不會(huì)放棄)自己的Hadoop部署,以解決他們所學(xué)到的教訓(xùn)——特別是圍繞管理,數(shù)據(jù)集成,安全性和可靠性等領(lǐng)域”他說。
關(guān)于數(shù)據(jù)分析算法的探討將進(jìn)入企業(yè)高層會(huì)議
在數(shù)據(jù)采集和數(shù)據(jù)的托管分析的制備過程中,相關(guān)的算法將升溫?!彼f?!斑@樣一來,企業(yè)的CEO和投資者們將開始探討深層的數(shù)據(jù)分析為核心業(yè)務(wù)的目標(biāo)?!?/p>
數(shù)據(jù)湖泊最終會(huì)發(fā)現(xiàn)一些殺手級(jí)應(yīng)用程序
受數(shù)據(jù)量和成本因素的影響,數(shù)據(jù)湖泊將成為原始物聯(lián)網(wǎng)數(shù)據(jù)最常見的存儲(chǔ)庫(kù),格雷厄姆說?!蔽锫?lián)網(wǎng)M2M數(shù)據(jù)的規(guī)模大小將將超過幾個(gè)數(shù)量級(jí)運(yùn)行內(nèi)存容量,從而推動(dòng)了低存儲(chǔ)成本的數(shù)據(jù)湖技術(shù)。”他說。
在數(shù)據(jù)中心捕獲的物聯(lián)網(wǎng)數(shù)據(jù)的價(jià)值將迅速被新的交易數(shù)據(jù)的價(jià)值所削弱
“缺乏貨幣化的數(shù)據(jù)字段,大多數(shù)傳感器的數(shù)據(jù)將在數(shù)小時(shí),幾天或幾周的時(shí)間后變?yōu)榈蛢r(jià)值,因?yàn)檫@些數(shù)據(jù)信息將被相同的傳感器的更新的數(shù)據(jù)集合所替換?!备窭锥蚰氛f?!凹軜?gòu)和系統(tǒng)將被迫以彌補(bǔ)這一數(shù)據(jù)價(jià)值的快速下降,以應(yīng)付數(shù)據(jù)存儲(chǔ)和處理成本?!?/p>