近日，日本三菱電機(Mitsubishi Electric Corporation)公司宣布其研發(fā)了全球首款能夠與人類進行高度自然其直觀互動的技術(shù)，該技術(shù)基于場景感知能力，能夠?qū)⒍嗄B(tài)感知信息翻譯成自然語言。該款新技術(shù)名為場景感知交互(Scene-Aware Interaction)，整合了三菱電機的專有Maisart緊湊型AI技術(shù)，可以分析多模態(tài)感知信息，通過依賴于上下文情境生成的自然語言與人類實現(xiàn)高度自然且直觀的交互。

該技術(shù)基于多模態(tài)感知信息，如攝像頭捕捉的圖像和視頻、麥克風(fēng)錄下的音頻信息以及激光雷達測量的定位信息，以識別情境中的物體。為了對這些不同類別的信息進行優(yōu)先排序，三菱電機研發(fā)了注意力多模態(tài)融合技術(shù)(Attentional Multimodal Fusion)，能夠自動加權(quán)突出的單模態(tài)信息，為準(zhǔn)確描述場景而選擇適當(dāng)詞匯。在采用通用測試集的基準(zhǔn)測試中，注意力多模態(tài)融合技術(shù)采用音頻和視覺信息來取得基于共識的圖像描述評價(CIDEr)得分，發(fā)現(xiàn)比僅使用視覺信息的得分高出29%。三菱電機將注意力多模態(tài)融合與場景理解技術(shù)和基于情境的自然語言生成技術(shù)相結(jié)合，實現(xiàn)了強大的端到端場景感知交互系統(tǒng)，在不同場景下，都可以與用戶實現(xiàn)高度直觀的交互。

場景感知交互技術(shù)可用于汽車導(dǎo)航應(yīng)用，為駕駛員提供直觀的路線導(dǎo)航。例如，系統(tǒng)不再指示駕駛員“在50米內(nèi)右轉(zhuǎn)”，而是提供場景感知型指導(dǎo)，如“在郵箱前右轉(zhuǎn)”或“跟著灰色的車向右轉(zhuǎn)”。此外，該系統(tǒng)還會在預(yù)測到附近有物體的行進路徑與車輛的行進路徑相交時，生成語音警報，如“有行人正在過馬路”。為了實現(xiàn)這一功能，該系統(tǒng)會分析場景，識別出場景中隱藏的視覺路標(biāo)以及動態(tài)元素，然后利用此類東西識別物體和事件，為導(dǎo)航生成直觀的句子指導(dǎo)。

利用深度神經(jīng)網(wǎng)絡(luò)進行物體識別、視頻描述、自然語言生成和口語對話等技術(shù)最近取得了很多進展，可以讓機器能夠更好地理解周圍的環(huán)境，并更自然、更直觀地與人類互動。場景感知交互技術(shù)預(yù)計具有廣泛的適用性，包括用于車載信息娛樂系統(tǒng)的人機接口、在建筑物中與機器人交互以及工廠自動化系統(tǒng)、監(jiān)控人類健康狀況的系統(tǒng)、為人類解釋復(fù)雜場景的監(jiān)測系統(tǒng)、鼓勵保持社交距離的系統(tǒng)、在公共場所支持無觸摸操作設(shè)備的系統(tǒng)等等。