流計(jì)算是用于越來(lái)越多的數(shù)據(jù)豐富，低延遲應(yīng)用程序的關(guān)鍵平臺(tái)。

越來(lái)越多的在線應(yīng)用程序，例如移動(dòng)性，“物聯(lián)網(wǎng)”，媒體，游戲和無(wú)服務(wù)器，都需要強(qiáng)大的，低延遲的數(shù)據(jù)處理主干?，F(xiàn)在，許多流媒體應(yīng)用程序的核心功能包括實(shí)時(shí)事件處理，連續(xù)計(jì)算，狀態(tài)語(yǔ)義，發(fā)布和訂閱消息傳遞，更改的數(shù)據(jù)捕獲和ACID交易功能。

流計(jì)算快速增長(zhǎng)

在未來(lái)十年中，靜態(tài)數(shù)據(jù)架構(gòu)(例如數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)湖和事務(wù)性數(shù)據(jù)存儲(chǔ))將不再是企業(yè)數(shù)據(jù)戰(zhàn)略的中心。在 一年前Wikibon的大數(shù)據(jù)分析市場(chǎng)更新中，我們發(fā)現(xiàn)了一些趨勢(shì)，這些趨勢(shì)指向一個(gè)新時(shí)代，在該時(shí)代，流計(jì)算是大多數(shù)數(shù)據(jù)體系結(jié)構(gòu)的基礎(chǔ)：

流計(jì)算是許多新邊緣應(yīng)用程序的基礎(chǔ)，包括移動(dòng)，嵌入式和“物聯(lián)網(wǎng)”設(shè)備的訪問(wèn)，后端基礎(chǔ)結(jié)構(gòu)提供了實(shí)時(shí)設(shè)備管理和流內(nèi)分析處理。

企業(yè)正在擴(kuò)大對(duì)內(nèi)存，連續(xù)計(jì)算，更改數(shù)據(jù)捕獲和其他低延遲解決方案的投資，同時(shí)將這些投資與大數(shù)據(jù)靜態(tài)環(huán)境(包括Hadoop，NoSQL和RDBMS)融合在一起。

流環(huán)境不斷發(fā)展，以支持低延遲，應(yīng)用程序級(jí)別的實(shí)時(shí)數(shù)據(jù)的任意數(shù)量，種類，頻率，格式，有效載荷，順序或模式的處理。

正在部署流計(jì)算主干來(lái)管理更多有狀態(tài)的事務(wù)性工作負(fù)載，執(zhí)行流內(nèi)機(jī)器學(xué)習(xí)并處理迄今已成為關(guān)系數(shù)據(jù)庫(kù)和其他靜態(tài)資源庫(kù)的其他復(fù)雜編排方案。

在線事務(wù)分析處理，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)治理和機(jī)器學(xué)習(xí)正日益朝著低延遲，有狀態(tài)的流式骨干網(wǎng)發(fā)展。

供應(yīng)商正在引入包含流媒體平臺(tái)的創(chuàng)新解決方案，以確保它們可以用作各種應(yīng)用程序的持久性真理。

云提供商已將流技術(shù)集成到其解決方案組合的核心中，以實(shí)現(xiàn)移動(dòng)性，物聯(lián)網(wǎng)，無(wú)服務(wù)器計(jì)算和其他關(guān)鍵解決方案模式。

企業(yè)正在將更多的推理，培訓(xùn)和其他工作負(fù)載遷移到處理本地獲取的傳感器數(shù)據(jù)的實(shí)時(shí)流的邊緣設(shè)備。

開(kāi)源流環(huán)境正在成為重要的企業(yè)大數(shù)據(jù)平臺(tái)。

面向批處理的大數(shù)據(jù)部署正在讓位于更完全的實(shí)時(shí)，流式傳輸，低延遲端到端環(huán)境。

大多數(shù)機(jī)器學(xué)習(xí)，深度學(xué)習(xí)和其他人工智能工作負(fù)載將實(shí)時(shí)進(jìn)行流處理。

Apache Flink保持其在流計(jì)算領(lǐng)域的勢(shì)頭

在過(guò)去的幾年中，流計(jì)算市場(chǎng)已經(jīng)看到大量開(kāi)源項(xiàng)目投入使用?，F(xiàn)在，其中許多都由Apache Software Foundation管理。除了市場(chǎng)上許多成熟的商業(yè)流計(jì)算和復(fù)雜事件處理解決方案外，企業(yè)還可以從以下選擇中選擇：Apache Kafka，F(xiàn)link，Spark Streaming，Apex，Heron，Samza，Storm，Pulsar 和Beam。

盡管這些流計(jì)算項(xiàng)目之間的功能重疊相當(dāng)多，但Wikibon看到越來(lái)越多的企業(yè)實(shí)現(xiàn)使用其中的兩個(gè)或多個(gè)來(lái)利用它們的優(yōu)勢(shì)。除了Kafka之外，Apache Flink是最受歡迎的流計(jì)算開(kāi)源項(xiàng)目。

自發(fā)明以來(lái)的第10年和成為Apache項(xiàng)目以來(lái)的第5年，F(xiàn)link的強(qiáng)項(xiàng)就是其結(jié)構(gòu)的多功能性。Apache Flink每秒可以攝取數(shù)百萬(wàn)個(gè)數(shù)據(jù)點(diǎn)，并同時(shí)跟蹤相關(guān)的上下文信息。它最杰出的用戶包括Netflix Inc.，Uber Technologies Inc.，Lyft Inc.和阿里巴巴集團(tuán)控股有限公司。

盡管Flink缺乏Kafka核心的發(fā)布和訂閱功能，但Flink為絕大多數(shù)流計(jì)算用例提供了強(qiáng)大的框架和可擴(kuò)展的分布式引擎。實(shí)際上，在許多企業(yè)流計(jì)算應(yīng)用程序中以互補(bǔ)的方式部署Kafka和Flink并不少見(jiàn)。

就目前而言，Apache Flink開(kāi)源代碼庫(kù)(當(dāng)前在最新的穩(wěn)定版本1.7.2中可用)的核心功能是：

支持有狀態(tài)的，事件驅(qū)動(dòng)的，高吞吐量的連續(xù)處理應(yīng)用程序;

以內(nèi)存速度執(zhí)行事件驅(qū)動(dòng)的計(jì)算;

可以任意規(guī)模運(yùn)作;

在所有常見(jiàn)的集群環(huán)境中運(yùn)行，包括Kubernetes，Docker，Mesos和YARN;

處理無(wú)限流和無(wú)限流;

支持批量和連續(xù)延遲;

確保在多個(gè)節(jié)點(diǎn)上的分片表之間保持非常大的分布式狀態(tài)的一次精確一致性。

提供增量檢查點(diǎn);

執(zhí)行復(fù)雜的實(shí)時(shí)數(shù)據(jù)處理;

支持SQL查詢低延遲應(yīng)用程序;

通過(guò)連接器連接到各種本地企業(yè)數(shù)據(jù)庫(kù)和計(jì)算平臺(tái)以及阿里巴巴和其他公共云，支持混合云分布式部署;

允許開(kāi)發(fā)人員構(gòu)建有狀態(tài)的流應(yīng)用程序以部署到Flink集群;

每秒可處理數(shù)百萬(wàn)個(gè)事件，并在后端RocksDB實(shí)現(xiàn)中節(jié)省多達(dá)TB的實(shí)時(shí)狀態(tài);

支持實(shí)時(shí)數(shù)據(jù)流的指標(biāo)，日志記錄和可操作性;

啟用實(shí)時(shí)流Flink應(yīng)用程序的分支和使用歷史數(shù)據(jù)的流重放，以確保強(qiáng)大的數(shù)據(jù)一致性;

允許開(kāi)發(fā)人員拍攝正在運(yùn)行的應(yīng)用程序的快照，從這些快照中啟動(dòng)新代碼;

與Jenkins等第三方DevOps工具集成;和

使用包含DataStream和DataSet API的通用開(kāi)發(fā)抽象。

本周在舊金山舉行的第三屆年度Flink Forward開(kāi)發(fā)人員大會(huì)上，與會(huì)人員了解到Apache Flink項(xiàng)目以及使用它的社區(qū)現(xiàn)在可能會(huì)表現(xiàn)得很好，因?yàn)槠渲饕_(kāi)發(fā)人員Data Artisans GmbH(最近更名為Ververica) 已被中國(guó)收購(gòu)的云計(jì)算巨頭阿里巴巴。

在大會(huì)主題演講中，Ververica和阿里巴巴的高管們闡述了該公司未來(lái)十年的重點(diǎn)。最值得一提的是Wikibon對(duì)流媒體市場(chǎng)的預(yù)測(cè)，尤其是其與批處理和機(jī)器學(xué)習(xí)的融合，的準(zhǔn)確度。

不斷發(fā)展的Apache Flink開(kāi)源社區(qū)

Apache Flink勢(shì)不可擋，對(duì)于越來(lái)越多的流使用案例而言，它已變得不可或缺。Flink Forward 2019上展示的采用率，開(kāi)源代碼承諾率和其他指標(biāo)表明，它已成為企業(yè)數(shù)據(jù)策略的關(guān)鍵支柱。

Ververica的工程負(fù)責(zé)人羅伯特·梅茨格(Robert Metzger)的統(tǒng)計(jì)數(shù)據(jù)表明，F(xiàn)link在全球范圍內(nèi)(尤其是在中國(guó))的采用率不斷增長(zhǎng)。因此，考慮到Ververica的新公司血統(tǒng)，當(dāng)Metzger討論Ververica如何為Apache Flink社區(qū)啟動(dòng)新的中文用戶支持郵件列表時(shí)，這并不奇怪。他還討論了公司為將中國(guó)大量Flink用戶群整合到開(kāi)源項(xiàng)目的Apache社區(qū)中所做的努力。

為了支持這些社區(qū)成員和其他社區(qū)成員，Metzger討論了Ververica在改善Flink網(wǎng)站方面的投資。正在進(jìn)行的主要增強(qiáng)功能包括提高管理問(wèn)題和錯(cuò)誤跟蹤，發(fā)布社區(qū)軟件包以及處理工作流以進(jìn)行請(qǐng)求請(qǐng)求審核和標(biāo)記的能力。

為Apache Flink開(kāi)源代碼庫(kù)貢獻(xiàn)創(chuàng)新

Ververica計(jì)劃繼續(xù)將Apache Flink從流處理器演變?yōu)榻y(tǒng)一的數(shù)據(jù)處理系統(tǒng)。最后，它專注于開(kāi)發(fā)Flink的批處理，機(jī)器學(xué)習(xí)和流分析以及數(shù)據(jù)倉(cāng)庫(kù)/ ETL集成功能。

在批處理中，阿里巴巴高級(jí)平臺(tái)工程師姜曉偉與Ververica團(tuán)隊(duì)討論了其在開(kāi)源平臺(tái)上建立“ Blink ”批處理功能的工作。為此，計(jì)劃在Flink代碼庫(kù)中添加的內(nèi)容將包括新的Table API和增強(qiáng)的SQL查詢處理器。根據(jù)Ververica CTO Stephan Ewen的說(shuō)法，它正在與阿里巴巴合作，以改善跨分布式節(jié)點(diǎn)運(yùn)行的批處理作業(yè)的性能和容錯(cuò)能力。

在機(jī)器學(xué)習(xí)中，Ververica首席執(zhí)行官Kostas Tzoumas討論了該公司在加深A(yù)pache Flink的算法庫(kù)，實(shí)用程序和用戶界面方面的投資，以服務(wù)于正在構(gòu)建人工智能和流分析應(yīng)用程序以進(jìn)行實(shí)時(shí)連續(xù)計(jì)算的數(shù)據(jù)科學(xué)家團(tuán)隊(duì)。他們還增加了對(duì)在Zeppelin筆記本電腦中開(kāi)發(fā)Flink機(jī)器學(xué)習(xí)應(yīng)用程序的支持。

根據(jù)Tzoumas的說(shuō)法，在數(shù)據(jù)倉(cāng)庫(kù)和ETL集成中，F(xiàn)link與Hive的metastore和數(shù)據(jù)目錄更加緊密地集成在一起。它還在其嵌入式SQL查詢處理引擎中看到了性能增強(qiáng)。

此外，當(dāng)天的各種突破都集中在正在進(jìn)行的Apache Flink增強(qiáng)上，這些增強(qiáng)將加強(qiáng)與TensorFlow，Apache Beam和Apache Pulsar的集成。

總體而言，這些體系結(jié)構(gòu)的改進(jìn)將使開(kāi)源Apache Flink能夠支持更多的企業(yè)用例，這些用例歷來(lái)都是靜態(tài)數(shù)據(jù)平臺(tái)，例如Apache Hadoop。

開(kāi)發(fā)Apache Flink商業(yè)生態(tài)系統(tǒng)

去年，數(shù)據(jù)工匠 針對(duì)企業(yè)推出了Flink的商業(yè)版本。該平臺(tái)包括用于自動(dòng)執(zhí)行大型部署的設(shè)置和維護(hù)的功能。它還提供對(duì)ACID的支持 ，該方法可以保證重要信息(例如財(cái)務(wù)記錄)的可靠性。

為了維持Flink生態(tài)系統(tǒng)的商業(yè)發(fā)展勢(shì)頭，Ververica保留了Artisan所有數(shù)據(jù)產(chǎn)品并重新命名。新近更名為Ververica平臺(tái)，以前稱為dA平臺(tái)，作為許可軟件提供，包括三個(gè)核心組件：

Apache Flink(用于分布式，有狀態(tài)，實(shí)時(shí)流內(nèi)計(jì)算的開(kāi)源引擎);

Ververica Application Manager(用于在Flink上進(jìn)行實(shí)時(shí)有狀態(tài)計(jì)算生產(chǎn)應(yīng)用程序生命周期管理的框架);和

Ververica Streaming Ledger(Flink之上的庫(kù)，用于在共享的分布式狀態(tài)表之間進(jìn)行可序列化的ACID事務(wù))。

根據(jù)Tzoumas的說(shuō)法，Ververica正在擴(kuò)大其Flink培訓(xùn)和咨詢計(jì)劃。他們還正在招募新的平臺(tái)和服務(wù)合作伙伴，以將公司的解決方案帶入全球更多的機(jī)會(huì)。

Ververica的上市策略缺少什么?

如果希望擴(kuò)大Flink在企業(yè)中的采用，Ververica將需要采取以下戰(zhàn)略步驟：

在企業(yè)中不斷增長(zhǎng)的混合流環(huán)境范圍內(nèi)，尤其是在Kafka和Spark Streaming方面，更簡(jiǎn)潔地定位Apache Flink的差異化用例。

將更多焦點(diǎn)放在Ververica產(chǎn)品開(kāi)發(fā)上，以便在移動(dòng)，嵌入式和IoT設(shè)備中獲得Flink的進(jìn)一步立足點(diǎn);

將數(shù)據(jù)科學(xué)工具鏈和DevOps供應(yīng)商帶入Ververica的合作伙伴生態(tài)系統(tǒng)，以確保構(gòu)建和培訓(xùn)更多的機(jī)器學(xué)習(xí)應(yīng)用程序，以便在分布式Flink環(huán)境中進(jìn)行部署;

在Ververica的進(jìn)入市場(chǎng)戰(zhàn)略中重點(diǎn)關(guān)注業(yè)務(wù)線和垂直行業(yè)，以便通過(guò)結(jié)合嵌入式Flink流道的快速價(jià)值流解決方案來(lái)吸引更多企業(yè)客戶;

建立Ververica的公共云集成，以確保Flink可以作為更多企業(yè)混合云部署中選擇的流計(jì)算平臺(tái)并入。

將Ververica平臺(tái)的容器化功能公開(kāi)為無(wú)服務(wù)器功能，并將其引擎作為Knative的后端插入，以便可以更輕松地將Flink集成到云原生應(yīng)用程序中

有關(guān)Flink Forward 2019的更多新聞，請(qǐng)查看Ververica博客。要了解該公司過(guò)去一年的發(fā)展情況，請(qǐng)查看Tzoumas在Flink Forward 2018上在CUBE上所說(shuō)的話。