隆恩(Loon)是一家致力于項(xiàng)目的公司，目的是使用浮在平流層中的超壓氣球來提供Internet連接。我們很少聽到有關(guān)該項(xiàng)目的消息，有些人可能想知道它是否仍與已經(jīng)在使用衛(wèi)星的Starlink Internet服務(wù)進(jìn)行試驗(yàn)的SpaceX相關(guān)。隆恩公司已經(jīng)部署了一些非常有趣的東西，該公司稱這是世界上首次部署強(qiáng)化學(xué)習(xí)航空航天系統(tǒng)。

該公司長期以來一直有一個(gè)目標(biāo)，即有效地將氣球引導(dǎo)到需要連接的位置。挑戰(zhàn)在于，在平流層中導(dǎo)航超壓氣球有兩種選擇：向上或向下。導(dǎo)航非常復(fù)雜，并且該任務(wù)非常適合自動(dòng)化。懶人氣球跟隨盛行的風(fēng)。

盧恩(Loon)說，公司內(nèi)部的一個(gè)小組與Google AI一直在合作開發(fā)利用深度強(qiáng)化學(xué)習(xí)(RL)的功能更強(qiáng)大的導(dǎo)航系統(tǒng)。RL是一種機(jī)器學(xué)習(xí)，它使代理能夠通過在交互環(huán)境中通過自身行為和經(jīng)驗(yàn)的反饋，通過反復(fù)試驗(yàn)來學(xué)習(xí)。該公司承認(rèn)，尚不清楚早期的深度RL是否適用于其高空氣球。

測試證明，RL對于平流層氣球氣球是可行的。當(dāng)今使用的導(dǎo)航系統(tǒng)面臨著一項(xiàng)復(fù)雜的任務(wù)，該任務(wù)通過一種算法解決，該算法通過計(jì)算機(jī)對氣球?qū)Ш竭M(jìn)行仿真來學(xué)習(xí)。RL系統(tǒng)前面的任務(wù)非常復(fù)雜，因?yàn)闅馇蛲ǔＨ狈硐霗C(jī)動(dòng)所需的動(dòng)力。

這意味著頻繁的決策機(jī)會(huì)跨越了很長的規(guī)劃期。盡管復(fù)雜，但強(qiáng)化學(xué)習(xí)已承諾比目前廣泛使用的人工設(shè)計(jì)算法更有效地幫助Loon操縱氣球。RL可以使導(dǎo)航系統(tǒng)快速管理新飛機(jī)并管理Loon機(jī)隊(duì)的不同用途。到目前為止，RL控制器已導(dǎo)航了一組氣球近3000個(gè)飛行小時(shí)，該公司稱其為出色的結(jié)果。