在機(jī)器學(xué)習(xí)的許多任務(wù)中，通常希望在給定固定的預(yù)先收集的數(shù)據(jù)集的情況下回答問(wèn)題。但是，在某些應(yīng)用中，我們沒(méi)有先驗(yàn)數(shù)據(jù); 相反，我們必須收集我們回答感興趣的問(wèn)題所需的數(shù)據(jù)。

例如，在環(huán)境污染物監(jiān)測(cè)和人口普查式調(diào)查中出現(xiàn)這種情況。自己收集數(shù)據(jù)使我們能夠?qū)⒆⒁饬性谧钕嚓P(guān)的信息來(lái)源上。然而，確定哪些信息源將產(chǎn)生有用的測(cè)量可能是困難的。此外，當(dāng)物理代理(例如機(jī)器人，衛(wèi)星，人等)收集數(shù)據(jù)時(shí)，我們必須計(jì)劃我們的測(cè)量，以便降低與代理的運(yùn)動(dòng)相關(guān)的成本。我們將這個(gè)抽象問(wèn)題稱為自適應(yīng)感知。

我們引入了一種新的方法來(lái)體現(xiàn)自適應(yīng)傳感問(wèn)題，其中機(jī)器人必須遍歷其環(huán)境以識(shí)別感興趣的位置或項(xiàng)目。自適應(yīng)傳感包括機(jī)器人技術(shù)中許多經(jīng)過(guò)充分研究的問(wèn)題，包括快速識(shí)別意外污染泄漏和放射源，以及在搜索和救援任務(wù)中找到個(gè)人。在這樣的設(shè)置中，設(shè)計(jì)一個(gè)盡可能快地返回正確解決方案的傳感軌跡通常是至關(guān)重要的。

我們關(guān)注放射源尋找(RSS)問(wèn)題，其中無(wú)人機(jī)必須在其環(huán)境中識(shí)別最大放射性發(fā)射體，其中是用戶定義的參數(shù)。RSS是自適應(yīng)傳感問(wèn)題的一個(gè)特別有趣的例子，由于高度異質(zhì)的背景噪聲所帶來(lái)的挑戰(zhàn)，以及適合于統(tǒng)計(jì)置信區(qū)間的構(gòu)建的良好表征的傳感器模型的存在。

我們介紹了AdaSearch，一個(gè)用于一般自適應(yīng)傳感問(wèn)題的連續(xù)消除框架，并在放射源搜索的背景下進(jìn)行演示。AdaSearch明確保持環(huán)境中每個(gè)點(diǎn)的排放率的置信區(qū)間。使用這些置信區(qū)間，算法迭代地識(shí)別可能在頂部發(fā)射器中的一組候選點(diǎn)，并消除其他點(diǎn)。

體驗(yàn)式搜索作為多重假設(shè)檢驗(yàn)場(chǎng)景

傳統(tǒng)上，機(jī)器人社區(qū)已經(jīng)將具體搜索設(shè)想為連續(xù)運(yùn)動(dòng)規(guī)劃問(wèn)題，其中機(jī)器人必須平衡探索其環(huán)境與選擇有效軌跡。這推動(dòng)了將軌跡優(yōu)化和探索結(jié)合到單個(gè)目標(biāo)中的方法，其可以使用后退水平控制進(jìn)行優(yōu)化(Hoffman和Tomlin，Bai等人，Marchant和Ramos)。相反，我們考慮一種替代方法，其中我們通過(guò)假設(shè)檢驗(yàn)將問(wèn)題表述為順序最佳行為識(shí)別之一。

在順序假設(shè)檢驗(yàn)中，目標(biāo)是通過(guò)迭代收集數(shù)據(jù)來(lái)得出許多單獨(dú)問(wèn)題的結(jié)論。給代理一組測(cè)量動(dòng)作，每個(gè)動(dòng)作根據(jù)不同的固定分布產(chǎn)生觀察。ñ

代理人的目標(biāo)是學(xué)習(xí)這觀察分布的一些預(yù)先指定的屬性。例如，在統(tǒng)計(jì)“A / B測(cè)試”中，測(cè)量動(dòng)作對(duì)應(yīng)于向新客戶顯示產(chǎn)品A或產(chǎn)品B，并記錄他們對(duì)該產(chǎn)品的評(píng)估。這里，ññ= 2因?yàn)橹挥袃蓚€(gè)動(dòng)作，顯示產(chǎn)品A并顯示產(chǎn)品B.感興趣的屬性是平均優(yōu)選的產(chǎn)品(下圖中的B)。當(dāng)我們收集偏好的測(cè)量值時(shí)，我們會(huì)跟蹤樣本平均值以及它們周圍的置信區(qū)間，由每個(gè)產(chǎn)品的置信區(qū)間(LCB)和置信區(qū)間上限(UCB)描述。隨著我們收集更多測(cè)量值，我們對(duì)每個(gè)產(chǎn)品的偏好估計(jì)值更加自信，因此我們對(duì)產(chǎn)品之間的排名也更有信心。這表明產(chǎn)品B優(yōu)于產(chǎn)品A的結(jié)論條件：如果產(chǎn)品B的LCB大于產(chǎn)品A的UCB，那么我們可以得出結(jié)論，概率很高，B平均優(yōu)選為A.

在環(huán)境感測(cè)的背景下，每個(gè)動(dòng)作可以對(duì)應(yīng)于從給定位置和方向獲取傳感器讀數(shù)。通常，代理希望知道哪個(gè)單一測(cè)量動(dòng)作產(chǎn)生具有最大平均觀測(cè)信號(hào)的觀測(cè)值，或者哪組動(dòng)作一起具有最大平均觀測(cè)值。為此，代理可以使用先前測(cè)量的觀察順序地選擇動(dòng)作以支持將用于辨別具有最大平均觀察的動(dòng)作的最具信息性的未來(lái)動(dòng)作。?

乍一看，順序最佳動(dòng)作識(shí)別可能看起來(lái)過(guò)于抽象，無(wú)法在移動(dòng)的，具體的傳感代理中使用。實(shí)際上，代理可以選擇任意任意的測(cè)量動(dòng)作序列，而不考慮潛在的成本 - 例如與改變動(dòng)作相關(guān)的移動(dòng)時(shí)間。然而，順序最佳行動(dòng)識(shí)別的抽象性質(zhì)也是其最強(qiáng)大的力量。通過(guò)以精確的統(tǒng)計(jì)語(yǔ)言制定具體的搜索問(wèn)題，我們開發(fā)關(guān)于與每個(gè)感測(cè)動(dòng)作相關(guān)聯(lián)的觀察裝置的可操作的置信區(qū)間，并確定在感興趣的點(diǎn)可以自信地確定之前仍然需要采取的所有動(dòng)作的集合。

我們提出的具體搜索方法AdaSearch使用來(lái)自順序最佳動(dòng)作識(shí)別和全局軌跡規(guī)劃啟發(fā)式的置信區(qū)間來(lái)實(shí)現(xiàn)漸近最優(yōu)的測(cè)量復(fù)雜度，并有效地?cái)備N運(yùn)動(dòng)成本。

放射源尋求

具體而言，我們將在單一來(lái)源的放射源尋求問(wèn)題的背景下呈現(xiàn)AdaSearch。我們將環(huán)境建模為平面網(wǎng)格，如下圖所示。只有一個(gè)高強(qiáng)度放射性點(diǎn)源(紅點(diǎn))。然而，定位該光源是困難的，因?yàn)閭鞲衅鳒y(cè)量被背景輻射(粉紅色點(diǎn))破壞。通過(guò)在網(wǎng)格上方飛行配備有輻射傳感器的四旋翼飛行器來(lái)獲得傳感器測(cè)量值。目標(biāo)是設(shè)計(jì)一系列軌跡，以便從機(jī)載傳感器獲得的測(cè)量值允許我們盡可能快地消除放射性點(diǎn)源與背景輻射源的歧義。

AdaSearch

我們的算法AdaSearch將全局覆蓋規(guī)劃方法與基于假設(shè)檢驗(yàn)的自適應(yīng)感知規(guī)則相結(jié)合，以定義這些軌跡。在第一次通過(guò)網(wǎng)格時(shí)，我們?cè)诃h(huán)境中均勻地進(jìn)行采樣。

基線

對(duì)于一般自適應(yīng)搜索問(wèn)題，最流行的方法可能是信息最大化(Bourgault等人)。信息最大化方法根據(jù)信息理論標(biāo)準(zhǔn)在被認(rèn)為有希望的位置收集測(cè)量值，并遵循后退水平策略來(lái)規(guī)劃軌跡。我們將AdaSearch與針對(duì)輻射檢測(cè)定制的信息最大化版本進(jìn)行比較：InfoMax。

不幸的是，對(duì)于大型搜索空間，該方法的實(shí)時(shí)計(jì)算約束需要近似，例如規(guī)劃范圍和軌跡參數(shù)化的限制。這些近似可能會(huì)導(dǎo)致算法過(guò)于貪婪，并且花費(fèi)太多時(shí)間來(lái)追蹤虛假線索。

為了消除我們的統(tǒng)計(jì)置信區(qū)間和全局規(guī)劃啟發(fā)式(與InfoMax的信息度量和后退時(shí)間范圍規(guī)劃)的影響之間的歧義，我們實(shí)施了一個(gè)簡(jiǎn)單的全局規(guī)劃方法NaiveSearch作為第二個(gè)基線。該方法均勻地對(duì)網(wǎng)格進(jìn)行采樣，在每個(gè)網(wǎng)格單元處花費(fèi)相等的時(shí)間。

結(jié)果

我們實(shí)現(xiàn)了所有三種算法，并使用逼真的四旋翼動(dòng)力學(xué)和模擬輻射傳感器讀數(shù)，在64 x 64米網(wǎng)格上以4米分辨率模擬了他們?cè)趩?wèn)題上的十個(gè)隨機(jī)實(shí)例化的性能。

在我們的實(shí)驗(yàn)中，我們觀察到AdaSearch通常比NaiveSearch和InfoMax完成得更快。隨著我們?cè)黾幼畲蟊尘拜椛渌?，AdaSearch的運(yùn)行時(shí)間與NaiveSearch運(yùn)行時(shí)間的比率繼續(xù)提高，這與全文中給出的理論界限相匹配。