大數(shù)據(jù)分析一直是本十年的主要技術(shù)趨勢之一，也是信息技術(shù)市場上最具活力和創(chuàng)新性的部分之一。但是，如今的大數(shù)據(jù)分析市場與幾年前的行業(yè)已經(jīng)大不相同，而且?guī)缀蹩梢钥隙?，幾年后會有很大的不同?/p>

在2018年，我們看到許多明顯的跡象表明，在本十年開始之初迅速崛起的大數(shù)據(jù)市場正開始以一種截然不同的形式重新結(jié)晶。在未來幾年中，這個(gè)市場可能甚至不會被稱為“大數(shù)據(jù)”。這是因?yàn)樗拇蟛糠职l(fā)展都朝著人工智能發(fā)展，盡管其核心是數(shù)據(jù)驅(qū)動的，但不一定要依賴大量數(shù)據(jù)才能在許多應(yīng)用中有效。

隨著Wikibon展望2019年，我們預(yù)見了大數(shù)據(jù)分析中的以下主要趨勢：

公共云提供商正在吸收大多數(shù)新的大數(shù)據(jù)分析增長機(jī)會

企業(yè)正在將更多的大數(shù)據(jù)分析工作負(fù)載移至公共云，并為這些環(huán)境開發(fā)更多的全新應(yīng)用程序。

在2019年，三個(gè)主要的公共云提供商-Amazon Web Services Inc.，Microsoft Azure和Google Cloud Platform-將加緊努力，以幫助企業(yè)帳戶將其數(shù)據(jù)湖從本地平臺遷移到其他地方。

其他公共云提供商將努力保持其大數(shù)據(jù)分析市場份額。在2018年，來自公共云領(lǐng)導(dǎo)者的挑戰(zhàn)迫使IBM公司收購RedHat Inc.。 展望未來，IBM，Oracle Corp.和其他公共云提供商將強(qiáng)調(diào)混合云解決方案，以幫助客戶集中管理私有云之間分布的大數(shù)據(jù)資產(chǎn)。和公共云。

此外，更多的大數(shù)據(jù)公共云提供商-將基礎(chǔ)架構(gòu)即服務(wù)和平臺即服務(wù)細(xì)分授予AWS，Microsoft Corp.和Google LLC-將轉(zhuǎn)向提供高級軟件即服務(wù)。服務(wù)分析應(yīng)用程序，以獲取業(yè)務(wù)線和特定于行業(yè)的機(jī)會。例如，雪花云計(jì)算公司(Snowflake Computing Inc.)在云數(shù)據(jù)倉庫市場上取得了顯著成就， 在2018年獲得了4.5億美元的融資以維持其增長軌跡。

大數(shù)據(jù)分析生態(tài)系統(tǒng)正在深入云原生

Kubernetes是一種流行的開源軟件，用于管理需要在云和本地?cái)?shù)據(jù)中心之間輕松移動的應(yīng)用程序的軟件容器，它是新一代云原生大數(shù)據(jù)的基礎(chǔ)。過去一年中，該市場中最值得注意的趨勢是Kubernetes周圍的數(shù)據(jù)生態(tài)系統(tǒng)的重新結(jié)晶。

云原生大數(shù)據(jù)架構(gòu)的發(fā)展推動了2018年的大量融資和兼并與收購活動。這解釋了為何Pivotal現(xiàn)在專注于在多個(gè)云中分布式存儲數(shù)據(jù)，并 在首次公開發(fā)行中獲得了5.55億美元的收入庫存。Talend收購Stitch的背后是需要用于將數(shù)據(jù)加載到云數(shù)據(jù)倉庫中的更簡單工具的需求。隨著企業(yè)對可伸縮的基于云的文件和對象存儲的需求不斷增長，這也是Cloudian購買Infinity Storage的重要原因 。

在2019年，我們預(yù)計(jì)開放混合架構(gòu)計(jì)劃將實(shí)現(xiàn)其計(jì)劃，以對HDFS，MapReduce，HBase，Hive，Pig，YARN和其他主要Hadoop組件進(jìn)行模塊化和容器化。我們還預(yù)測，主要贊助商-即將成為Cloudera Inc.的一部分的Hortonworks Inc.和IBM / Red Hat-將在2019年初提供將這種架構(gòu)納入其各自的混合云解決方案產(chǎn)品組合的下一代商業(yè)Hadoop平臺，其他云解決方案提供商將在全年中保持領(lǐng)先地位。

Spark，TensorFlow，流，分布式對象存儲和塊存儲等領(lǐng)域的類似容器化計(jì)劃將在2019年占據(jù)一席之地，因?yàn)檎麄€(gè)大數(shù)據(jù)堆棧將解耦，以便在基于Kubernetes的DevOps環(huán)境中進(jìn)行更敏捷的部署和管理。

每個(gè)大數(shù)據(jù)分析平臺提供商都在數(shù)據(jù)科學(xué)工具鏈上進(jìn)行大量投資

大數(shù)據(jù)分析解決方案提供商正在為贏得從事AI項(xiàng)目的新一代開發(fā)人員的心血而戰(zhàn)。在過去的幾年中，新一代的數(shù)據(jù)科學(xué)工作臺已經(jīng)投放市場，其中包括Anaconda，Dataiku，DataKitchen，DataRobot，Dimensional Mechanics，Domino Data Lab，H2O.ai，Hydrosphere.io，Kogentix，Pipeline.ai和Seldon。此外，IBM，Oracle，Cloudera，Alteryx等成熟的大數(shù)據(jù)分析供應(yīng)商以及所有三個(gè)主要的公共云供應(yīng)商也都進(jìn)入了這一領(lǐng)域。

2018年的DataRobot，Tarr和Immuta風(fēng)險(xiǎn)投資融資輪次表明，在過去幾年中，似乎有數(shù)十家初創(chuàng)公司扎根于該數(shù)據(jù)科學(xué)工作臺領(lǐng)域。在2018年，Wikibon遇到了越來越多的中國和遠(yuǎn)東地區(qū)的人。

在2019年，更多公司將強(qiáng)調(diào)其產(chǎn)品能夠自動執(zhí)行諸如功能工程，超參數(shù)優(yōu)化和數(shù)據(jù)標(biāo)記之類的傳統(tǒng)手動任務(wù)。大數(shù)據(jù)分析解決方案提供商將大量投資于工具，以加速將經(jīng)過訓(xùn)練的AI模型部署到生產(chǎn)應(yīng)用程序中。隨著大數(shù)據(jù)分析生態(tài)系統(tǒng)向云原生架構(gòu)的轉(zhuǎn)變，更多的數(shù)據(jù)科學(xué)工作臺將具有通過Kubernetes編排結(jié)構(gòu)自動化任務(wù)的能力，并能夠?qū)⒛Ｐ腿萜骰圆渴鸬焦苍坪退接性浦?。這種趨勢將把新興的標(biāo)準(zhǔn)(例如Kubeflow)帶入迅速發(fā)展的數(shù)據(jù)科學(xué)DevOps工具鏈生態(tài)系統(tǒng)。

Hadoop和Spark成為舊技術(shù)

在過去的幾年中，Hadoop在大數(shù)據(jù)分析領(lǐng)域的作用逐漸消失。Hadoop市場增長前景趨于平緩是Cloudera和Hortonworks達(dá)成2018年合并協(xié)議的主要因素 。

Hadoop越來越多地將其核心用例縮小到用于非結(jié)構(gòu)化數(shù)據(jù)的分布式文件系統(tǒng)，用于批處理數(shù)據(jù)轉(zhuǎn)換的平臺，大數(shù)據(jù)治理存儲庫和可查詢的大數(shù)據(jù)歸檔。

在2019年，Hadoop將努力將其應(yīng)用范圍擴(kuò)展到在線分析處理，商業(yè)智能，數(shù)據(jù)倉庫和其他開源項(xiàng)目可以解決的其他領(lǐng)域。到今年年底，Hadoop將開始在許多企業(yè)大數(shù)據(jù)環(huán)境中逐步淘汰，甚至以其核心數(shù)據(jù)湖角色開始支持分布式對象存儲，流計(jì)算平臺和可大規(guī)模擴(kuò)展的內(nèi)存集群。

甚至在本世紀(jì)中葉作為Hadoop替代品而開發(fā)的Apache Spark，在許多以TensorFlow為中心的AI商店中也越來越感覺像是一項(xiàng)遺留技術(shù)。從數(shù)據(jù)提取/轉(zhuǎn)換/負(fù)載利基可以看出這一趨勢，Spark越來越多地部署到該位置，隨著讀取模式架構(gòu)的發(fā)展，這種重要性可能會下降。

大數(shù)據(jù)目錄已成為數(shù)據(jù)管理DevOps的核心

用戶快速搜索，發(fā)現(xiàn)，整理和管理數(shù)據(jù)資產(chǎn)的能力現(xiàn)在是數(shù)字業(yè)務(wù)成功的基礎(chǔ)。在這方面，Looker Data Sciences Inc.獲得了1億美元的E輪融資，以應(yīng)對大數(shù)據(jù)編目，治理，準(zhǔn)備和可視化解決方案市場。

在2019年，我們預(yù)計(jì)將看到更多企業(yè)將其數(shù)據(jù)湖重新定位到應(yīng)用程序基礎(chǔ)架構(gòu)中的大數(shù)據(jù)目錄中，這些應(yīng)用程序基礎(chǔ)架構(gòu)可提高知識工作者的生產(chǎn)力，支持正在構(gòu)建和培訓(xùn)生產(chǎn)AI應(yīng)用程序的新一代開發(fā)人員，并促進(jìn)算法透明性和e -發(fā)現(xiàn)。

我們還期望IBM，Cloudera / Hortonworks，Informatica，Collibra等供應(yīng)商加深其現(xiàn)有大數(shù)據(jù)目錄平臺的能力，以管理更多元數(shù)據(jù)，模型，圖像，容器和其他工件，這些都是AI DevOps的命脈工作流程。借助新一代虛擬化工具，這些虛擬化工具將在單個(gè)云中提供更多的大數(shù)據(jù)目錄，這些虛擬化工具將提供一個(gè)用于管理公共云和私有云中不同數(shù)據(jù)資產(chǎn)的控制面板。并且我們預(yù)測主要的公共云提供商-AWS，Microsoft和Google-將為選擇在混合公共/私有云中部署這些服務(wù)的客戶推出自己的大數(shù)據(jù)目錄。

數(shù)據(jù)湖正在向云對象存儲和流計(jì)算發(fā)展

在2018年，AWS S3和Microsoft Azure Data Lake Storage等云對象存儲平臺繼續(xù)取代企業(yè)數(shù)據(jù)湖中的Hadoop。我們還看到，風(fēng)險(xiǎn)投資家優(yōu)先考慮為多云數(shù)據(jù)訪問，查詢和可視化解決方案的既有提供商提供資金(例如Dremio，2500萬美元的B輪融資);軟件定義的多云存儲(例如Scality，6000萬美元E系列)和云對象存儲(例如Cloudian，9400萬美元E系列)。

展望未來，這種趨勢將繼續(xù)下去，但是在未來三到五年內(nèi)，流計(jì)算骨干將使這一趨勢黯然失色。與1970年代以來的關(guān)系數(shù)據(jù)架構(gòu)一樣，諸如Kafka，F(xiàn)link和Spark Structured Streaming之類的低延遲流媒體平臺對于企業(yè)數(shù)據(jù)基礎(chǔ)結(jié)構(gòu)也變得越來越重要。

商業(yè)智能將所有AI和所有內(nèi)容都存儲

人工智能正在由內(nèi)而外地重塑商業(yè)智能市場。在過去的幾年中，BI的核心趨勢之一是該技術(shù)對歷史分析的傳統(tǒng)關(guān)注與新一代注入AI的預(yù)測分析，搜索和預(yù)測工具的融合，該工具使任何業(yè)務(wù)用戶都可以做很多事需要訓(xùn)練有素的數(shù)據(jù)科學(xué)家。

在2019年，更多的BI供應(yīng)商將集成大量AI，以自動從復(fù)雜數(shù)據(jù)中提取預(yù)測見解，同時(shí)在解決方案中提供這些復(fù)雜功能，以提供自助服務(wù)簡便性和指導(dǎo)性的最佳行動方案。我們在2018年看到了這一趨勢的指標(biāo)，初創(chuàng)公司ThoughtSpot Inc. 為其創(chuàng)新的AI增強(qiáng)業(yè)務(wù)分析解決方案組合獲得了1.45億美元的D輪融資。

關(guān)于AI在大數(shù)據(jù)分析市場的幾乎每個(gè)細(xì)分市場中日益重要的作用，請考慮我們在2018年看到的以下資金故事：

風(fēng)險(xiǎn)資本家向AI初創(chuàng)公司提供了驚人的資金，僅對的公司來說，就有望達(dá)到1000億美元，其中很大一部分資金都來自創(chuàng)新型AI硬件加速提供商。

過去一年中，許多最大的種子輪融資都是針對成熟的AI解決方案提供商的，包括AI自動化工作臺初創(chuàng)公司DataRobot Inc.(獲得1億美元的D輪融資)，自動化數(shù)據(jù)準(zhǔn)備公司Tamr Inc.(獲得1800萬美元的D輪融資)和AI DevOps數(shù)據(jù)隱私控制公司Immuta Inc.進(jìn)行了2000萬美元的B輪融資。

企業(yè)對強(qiáng)大的AI驅(qū)動搜索技術(shù)的需求永不滿足，他們希望通過不斷增長的日志數(shù)據(jù)進(jìn)行篩選，這解釋了為什么Elasticsearch BV能夠通過其IPO籌集2.52億美元。

持續(xù)的行業(yè)向AI和業(yè)務(wù)分析中自助數(shù)據(jù)準(zhǔn)備的轉(zhuǎn)變說明了Infogix Inc.為何 收購LavaStorm Analytics Inc.。

用于構(gòu)建自主AI驅(qū)動系統(tǒng)的強(qiáng)化學(xué)習(xí)工具的新興市場是促使微軟收購Bonsai AI Inc的一個(gè)因素。

越來越多的企業(yè)部署分布式內(nèi)存云數(shù)據(jù)庫以支持復(fù)雜的實(shí)時(shí)AI管道，這推動了MariaDB Corp. Ab對Clustrix Inc.的收購。

大數(shù)據(jù)分析的另一個(gè)主要趨勢是內(nèi)存架構(gòu)。這解釋了為什么在2018年，MemSQL Inc.在D輪融資中獲得3000萬美元的內(nèi)存中事務(wù)分析功能，而InfluxData Inc.在C輪融資中獲得3500萬美元，用于使用時(shí)序數(shù)據(jù)庫進(jìn)行實(shí)時(shí)性能監(jiān)控的原因，憑借其已建立的內(nèi)存中混合交易/分析平臺，Actian Corp.被股權(quán)公司HCL收購。

邊緣計(jì)算從根本上改變了數(shù)據(jù)庫架構(gòu)

我們知道，正在對數(shù)據(jù)庫進(jìn)行解構(gòu)和重組，以進(jìn)行面向邊緣的部署。

大數(shù)據(jù)分析市場的許多發(fā)展都朝著面向邊緣，流傳輸，移動數(shù)據(jù)的架構(gòu)發(fā)展，這些架構(gòu)不一定依賴于龐大的存儲架構(gòu)。這就解釋了為什么我們在2018年看到了可觀的融資輪次，用于可擴(kuò)展的機(jī)器數(shù)據(jù)存儲，處理和分析(CrateDB，1100萬美元A輪)以及流數(shù)據(jù)管道集成，監(jiān)視和管理(StreamSets，2400萬美元的C輪)。

在2019年，企業(yè)將部署流媒體平臺來驅(qū)動低延遲的DevOps管道，以經(jīng)過培訓(xùn)的，最適合的機(jī)器學(xué)習(xí)模型持續(xù)為移動，物聯(lián)網(wǎng)，機(jī)器人技術(shù)和其他邊緣應(yīng)用注入注入動力。在線事務(wù)分析處理，數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)治理工作負(fù)載也越來越多地轉(zhuǎn)向低延遲，有狀態(tài)的流式骨干網(wǎng)。

在未來的幾年中，具有破壞性的新數(shù)據(jù)平臺將結(jié)合網(wǎng)格，流，內(nèi)存和區(qū)塊鏈功能進(jìn)入市場。這些新的分布式數(shù)據(jù)平臺中的許多將針對需要低延遲，可擴(kuò)展和自動化的數(shù)據(jù)攝取，建模，培訓(xùn)以及為邊緣設(shè)備提供服務(wù)的連續(xù)AI DevOps管道進(jìn)行優(yōu)化。這些分析流水線功能的無服務(wù)器接口將成為標(biāo)準(zhǔn)配置，并以有狀態(tài)的流結(jié)構(gòu)為補(bǔ)充，這些流結(jié)構(gòu)將在新興的5G寬帶無線網(wǎng)絡(luò)上的邊緣設(shè)備中支持在線推薦引擎，次佳行動和其他事務(wù)性工作負(fù)載。

你的想法?

這些是Wikibon的年終回顧和大數(shù)據(jù)分析的前瞻性。我想聽聽我的讀者認(rèn)為這將是這個(gè)市場未來的主要趨勢。