Google正在通過(guò)即將推出的名為Cloud Dataflow Shuffle的功能，讓云客戶更快地處理數(shù)據(jù)以進(jìn)行分析。它的設(shè)計(jì)目的是通過(guò)應(yīng)用技術(shù)巨頭內(nèi)部開發(fā)的技術(shù)，使消費(fèi)流和批量處理數(shù)據(jù)的速度比以前快5倍。

該功能專為Google的Cloud Dataflow服務(wù)而構(gòu)建，該服務(wù)可幫助客戶在將數(shù)據(jù)輸入數(shù)據(jù)庫(kù)，機(jī)器學(xué)習(xí)應(yīng)用程序和其他系統(tǒng)之前對(duì)其進(jìn)行處理?？蛻羰褂肁pache Beam SDK編寫的管道在Cloud Dataflow中設(shè)置處理任務(wù)，然后Google處理處理這些任務(wù)所需的計(jì)算資源的配置和擴(kuò)展。

Cloud Dataflow Shuffle通過(guò)使用Google制造的系統(tǒng)來(lái)管理隨機(jī)操作，從而對(duì)來(lái)自多個(gè)計(jì)算節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行排序，從而加速了這些管道。當(dāng)這個(gè)推出時(shí)，客戶將獲得免費(fèi)的優(yōu)惠。所有這一切都是可能的，因?yàn)镚oogle管理Cloud Dataflow服務(wù)，并且能夠在必要和可能的時(shí)候交換新功能和組件。

該功能還可以幫助吸引和留住可能選擇在其他地方運(yùn)行Beam管道的客戶。在Google創(chuàng)建SDK的同時(shí)，用戶也可以在其他位置運(yùn)行的Apache Flink，Spark，Apex和Gearpump集群上部署管道。

根據(jù)Google云平臺(tái)團(tuán)隊(duì)的產(chǎn)品經(jīng)理William Vambenepe的說(shuō)法，Cloud Dataflow Shuffle的價(jià)值取決于Beam管道依賴于shuffle操作的程度。

“你的管道幾乎沒(méi)有任何洗牌，”他說(shuō)。“如果不洗牌，只會(huì)有很多洗牌加速器。”

然而，他說(shuō)，許多運(yùn)行時(shí)間最長(zhǎng)的管道需要大量使用隨機(jī)操作。在這些情況下的客戶將獲得免費(fèi)的速度提升。

谷歌知道一些關(guān)于洗牌操作的事情。該公司的工程師曾經(jīng)在新建的谷歌數(shù)據(jù)中心內(nèi)的服務(wù)器上運(yùn)行了50PB(1PB即1,000TB)的洗牌，然后才上線進(jìn)行測(cè)試。