自助分析技術(shù)的開發(fā)商Dremio Corp.說，它已經(jīng)找到了如何解鎖流行的云存儲中的數(shù)據(jù)以用于對性能敏感的數(shù)據(jù)倉庫應(yīng)用程序的方法。

該公司用于Amazon Web Services，Azure和混??合云系統(tǒng)的新Data Lake Engines使用戶能夠直接處理諸如AWS的S3和Microsoft Corp.的Azure Data Lake Storage等云對象存儲中的數(shù)據(jù)。這些服務(wù)因其低成本和可伸縮性而廣受歡迎，但云的固有延遲和對象存儲的性能限制限制了它們在性能中的使用情況。

Dremio首席執(zhí)行官Tomer Shiran表示：“過去，您唯一的選擇是提取數(shù)據(jù)并將其放入[AWS] Redshift之類的倉庫中，或者構(gòu)建多維數(shù)據(jù)集和商業(yè)智能提取。” 該過程有時可能需要幾天或幾周的時間。

該公司認(rèn)為它已經(jīng)解決了稱為“列云緩存”的技術(shù)問題，該技術(shù)是一種預(yù)讀緩存，可自動將數(shù)據(jù)加載到物理上靠近處理器的非易失性內(nèi)存Express或NVMe或固態(tài)存儲中。該公司表示，該方法可將性能提高多達(dá)70倍，同時減少了網(wǎng)絡(luò)流量，并且無需管理或設(shè)置。Shiran說：“您將兩全其美：S3的可擴(kuò)展性與NVMe的性能。”

另一個提高性能的功能是“預(yù)測流水線”，它可以提高對列數(shù)據(jù)的預(yù)讀命中率，同時將讀取吞吐量提高到網(wǎng)絡(luò)允許的最大值。該軟件還利用了針對Apache Arrow的Gandiva Initiative，這是一個針對Apache Arrow數(shù)據(jù)的高性能列式處理而優(yōu)化的執(zhí)行內(nèi)核。

這是柱狀的東西

Dremio對列處理了解一兩件事。它的軟件基于Apache Arrow，它是一種使用列式內(nèi)存分析的列式內(nèi)存處理加速器，這是一種將數(shù)據(jù)排列為列而不是行的內(nèi)存映射技術(shù)。傳統(tǒng)的關(guān)系引擎不必要地按行處理數(shù)據(jù)，但是列式處理至少快10倍，因此更適合分析。

Shiran說，Dremio技術(shù)已經(jīng)開發(fā)了一年多，它期望客戶需要的數(shù)據(jù)并將其加載到內(nèi)存或閃存中，從而消除了在提交查詢后檢索數(shù)據(jù)的性能問題。

“我們對于必須使用哪些色譜柱有了一個很好的認(rèn)識，” Shiran說。“我們可以提前一秒鐘進(jìn)行預(yù)測，因此您永遠(yuǎn)不必等待數(shù)據(jù)。”

預(yù)測數(shù)據(jù)需求并沒有聽起來那么復(fù)雜。在大多數(shù)情況下，用戶會在定義的時間段內(nèi)重復(fù)查詢有限的一組最近數(shù)據(jù)。Shiran說：“他們通常會在同一組有限的客戶記錄中提出很多問題，”以郵輪運(yùn)營商為例，該公司在海上不斷查詢乘客名單。

Dremio表示，其技術(shù)可以連接大多數(shù)或替代云數(shù)據(jù)倉庫，并且與大多數(shù)商業(yè)智能前端兼容，包括Tableau Software Inc.，Microsoft Corp.和Looker Data Sciences Inc.的前端。它還支持開放數(shù)據(jù)庫連接，Java數(shù)據(jù)庫連接。 ，代表性狀態(tài)轉(zhuǎn)移和Apache Arrow Flight接口。該軟件還支持跨平臺聯(lián)接，例如跨S3和Oracle Corp.關(guān)系引擎的查詢。

該公司還推出了Dremio Hub，該中心實質(zhì)上是連接器的應(yīng)用程序市場。Shiran說，目前僅列出了五個連接器，但“我們希望從現(xiàn)在開始每年看到數(shù)十個連接器。” Dremio不會在市場上測試或認(rèn)證軟件，但會將其角色留給社區(qū)。

定價基于Dremio集群的大小，該集群完全在云中運(yùn)行。首席執(zhí)行官說，年度定價可以在“五到七個數(shù)字”之間。