您現(xiàn)在的位置是:首頁 >互聯(lián)網(wǎng) > 2021-01-19 13:53:56 來源:
Streamlio將實時數(shù)據(jù)流處理添加到ApachePulsar
初創(chuàng)公司Streamlio Inc. 今天宣布對Apache Pulsar發(fā)布和訂閱消息傳遞平臺進行重大更新,該平臺將成為知名的Apache Kafka項目的主要競爭對手。
諸如Apache Pulsar之類的發(fā)布和訂閱消息傳遞系統(tǒng)旨在為軟件應(yīng)用程序相互通信提供一種高度可擴展的方式。
Pulsar最初由該公司的前工程師Matteo Merli和Joe Francis在Yahoo Inc.上開發(fā),并于2016年捐贈給開源社區(qū)。Merli和Francis當時解釋說Pulsar的開發(fā)是為了滿足幾種Yahoo應(yīng)用程序的要求,他們找不到任何現(xiàn)有的解決方案。
他們寫道:“這些應(yīng)用程序提供實時服務(wù),平均發(fā)布等待時間為5毫秒,在第99個百分位數(shù)時不超過15毫秒。” “在開始時,我們找不到任何現(xiàn)有的開源消息傳遞解決方案可以提供Yahoo所需的規(guī)模,性能和功能,而Yahoo則需要將消息傳遞作為托管服務(wù)來支持一百萬個主題。”
Merli隨后離開Yahoo成立了初創(chuàng)公司Streamlio,旨在將Apache Pulsar商業(yè)化,并于9月推出了包含消息傳遞系統(tǒng)的實時分析套件。Streamlio的系統(tǒng)還合并了Heron和Apache BookKeeper等開源項目,它們共同創(chuàng)建了“針對流和存儲進行了優(yōu)化的企業(yè)級消息傳遞解決方案”。
現(xiàn)在,Apache Pulsar社區(qū)正在使用新的分析功能和增強功能對Pulsar進行更新,以增強其性能,可擴展性和耐用性。
標題是稱為Pulsar Functions的新功能,它為Pulsar增加了流本機處理功能。它為開發(fā)人員提供了一種簡單的方法,可以在數(shù)據(jù)流經(jīng)Pulsar時直接將轉(zhuǎn)換和分析直接應(yīng)用于數(shù)據(jù),而無需外部系統(tǒng)或附加組件。
Merli在接受SilconANGLE的采訪時說,該公司已經(jīng)看到許多案例,這些案例可能會有利于盡快對數(shù)據(jù)進行處理,而不是等待它通過提取,事務(wù)處理和加載管道或通過數(shù)據(jù)湖或數(shù)據(jù)倉庫,這通常是分析的情況。通過增加Pulsar功能,Streamlio現(xiàn)在將Pulsar定位為一種“流消息系統(tǒng)”,該系統(tǒng)有助于將各種數(shù)據(jù)與用戶和應(yīng)用程序?qū)崟r連接。
Merli說:“對于組織而言,大多數(shù)選擇過于復(fù)雜和繁重,需要專門的編程技能,例如功能編程,并且需要部署和維護其他基礎(chǔ)設(shè)施服務(wù)。” “我們發(fā)現(xiàn)像Pulsar Functions這樣的流本地處理功能可以解決大多數(shù)用例,而不會給開發(fā)人員增加新的復(fù)雜性,也不會增加運營團隊的管理負擔。”
Pulsar 2.0中的其他新功能包括有助于簡化數(shù)據(jù)驅(qū)動型應(yīng)用程序開發(fā)的新架構(gòu)注冊表,以及稱為Topic Compaction的新增強功能,該功能有助于提高使用Pulsar數(shù)據(jù)的應(yīng)用程序的性能。
Merli說:“ Pulsar的優(yōu)勢使其成為需要將流數(shù)據(jù)源帶入數(shù)據(jù)和分析管道的數(shù)據(jù)驅(qū)動型應(yīng)用程序的絕佳解決方案。” “其中包括物聯(lián)網(wǎng)和工業(yè)物聯(lián)網(wǎng)分析,安全性,欺詐檢測,系統(tǒng)監(jiān)控和在線服務(wù)。”