您現(xiàn)在的位置是:首頁 >互聯(lián)網(wǎng) > 2020-10-30 14:00:14 來源:
Uber向Linux基金會貢獻了Horovod深度學(xué)習(xí)系統(tǒng)
世界頂級技術(shù)公司的工程師經(jīng)常發(fā)現(xiàn)自己必須為現(xiàn)有軟件構(gòu)建自定義替代方案,才能滿足公司的獨特需求。此類軟件項目的一個著名例子是Horovod,這是由Uber Technologies Inc.創(chuàng)建的深度學(xué)習(xí)平臺,如今已遷移到Linux Foundation。
該項目于去年首次首次亮相,將在Linux基金會的LF深度學(xué)習(xí)基金會的支持下進行,該基金會致力于開源人工智能軟件。
Horovod旨在簡化AI項目的培訓(xùn)階段。從頭開始創(chuàng)建的深度學(xué)習(xí)模型需要通過處理示例數(shù)據(jù)來提高其準確性,然后才能將它們釋放給實時信息。該過程涉及各種挑戰(zhàn),其中不僅包括修改神經(jīng)網(wǎng)絡(luò)以在指定的訓(xùn)練環(huán)境中運行。
這項任務(wù)很困難,因為深度學(xué)習(xí)項目通常是在開發(fā)人員的工作站上開始的。相反,培訓(xùn)環(huán)境可以由大量服務(wù)器組成,每個服務(wù)器可能都帶有多個圖形卡。要利用所有這些硬件,就需要對原始AI模型進行大量更改。
根據(jù)Uber的說法,Horovod使開發(fā)人員只需幾行代碼即可完成任務(wù)。這不僅加快了初始修改過程的速度,而且還簡化了后續(xù)的調(diào)試工作??紤]到深度學(xué)習(xí)項目的高度迭代性,這同樣節(jié)省了時間。
Horovod的另一個好處是高效。Uber稱,該系統(tǒng)使AI模型的訓(xùn)練速度幾乎是TensorFlow的傳統(tǒng)部署速度的兩倍.TensorFlow是Google LLC創(chuàng)建的市場領(lǐng)先的深度學(xué)習(xí)框架。
但是Horovod的構(gòu)建是為了補充而不是取代TensorFlow。Uber在內(nèi)部使用該系統(tǒng)來支持針對自動駕駛汽車,欺詐預(yù)防和行程預(yù)測應(yīng)用程序的AI模型的開發(fā)。Horovod的其他用戶包括Amazon.com Inc.,Nvidia Corp.和阿里巴巴集團控股有限公司。
Horovod是稱為Michelangelo的復(fù)雜平臺的一個組成部分,Uber已開發(fā)該平臺作為其內(nèi)部深度學(xué)習(xí)工作的基礎(chǔ)。該公司將該軟件描述為用于管理AI開發(fā)生命周期各個方面的端到端系統(tǒng)。鑒于Uber愿意開放Horovod,隨著時間的推移,它可能還會發(fā)布其他米開朗基羅組件的代碼。