這一經(jīng)歷啟發(fā)了華盛頓大學(xué)的三名研究人員(他們?cè)诖罅餍衅陂g是室友)開(kāi)發(fā)出更好的耳塞。為了增強(qiáng)說(shuō)話者的聲音并減少背景噪音，“ClearBuds”使用了一種新穎的麥克風(fēng)系統(tǒng)和首批在智能手機(jī)上實(shí)時(shí)運(yùn)行和運(yùn)行的機(jī)器學(xué)習(xí)系統(tǒng)之一。

研究人員于6月30日在ACM移動(dòng)系統(tǒng)、應(yīng)用和服務(wù)國(guó)際會(huì)議上介紹了這個(gè)項(xiàng)目。

“ClearBuds在兩個(gè)關(guān)鍵方面將自己與其他無(wú)線耳塞區(qū)分開(kāi)來(lái)，”PaulG.Allen計(jì)算機(jī)科學(xué)與工程學(xué)院的博士生MaruchiKim說(shuō)。“首先，ClearBuds使用雙麥克風(fēng)陣列。每個(gè)耳塞中的麥克風(fēng)創(chuàng)建兩個(gè)同步的音頻流，提供信息并允許我們以更高的分辨率在空間上分離來(lái)自不同方向的聲音。其次，輕量級(jí)神經(jīng)網(wǎng)絡(luò)進(jìn)一步增強(qiáng)了說(shuō)話者的聲音。”

雖然大多數(shù)商用耳塞的每個(gè)耳塞上都有麥克風(fēng)，但一次只有一個(gè)耳塞主動(dòng)向手機(jī)發(fā)送音頻。使用ClearBuds，每個(gè)耳塞都會(huì)向手機(jī)發(fā)送音頻流。研究人員設(shè)計(jì)了藍(lán)牙網(wǎng)絡(luò)協(xié)議，允許這些流在70微秒內(nèi)相互同步。

該團(tuán)隊(duì)的神經(jīng)網(wǎng)絡(luò)算法在手機(jī)上運(yùn)行以處理音頻流。首先，它抑制任何非語(yǔ)音聲音。然后它會(huì)隔離并增強(qiáng)同時(shí)從兩個(gè)耳塞傳入的任何噪音——說(shuō)話者的聲音。

“由于說(shuō)話者的聲音離兩個(gè)耳塞很近且距離大致相等，因此可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)只關(guān)注他們的語(yǔ)音并消除包括其他聲音在內(nèi)的背景聲音，”該研究的共同主要作者、博士生IshanChatterjee說(shuō)。艾倫學(xué)校。“這種方法與你自己的耳朵的工作方式非常相似。它們利用聲音傳入左右耳的時(shí)間差來(lái)確定聲音來(lái)自哪個(gè)方向。”

當(dāng)研究人員將ClearBuds與AppleAirPodsPro進(jìn)行比較時(shí)，ClearBuds的表現(xiàn)更好，在所有測(cè)試中實(shí)現(xiàn)了更高的信號(hào)失真比。

“考慮到我們的神經(jīng)網(wǎng)絡(luò)必須在不到20毫秒的時(shí)間內(nèi)在iPhone上運(yùn)行，與通常用于運(yùn)行神經(jīng)網(wǎng)絡(luò)的大型商用顯卡相比，iPhone的計(jì)算能力只是其一小部分，這非常了不起，”說(shuō)共同主要作者VivekJayaram，艾倫學(xué)院的博士生。“這是我們?cè)诒疚闹斜仨毥鉀Q的挑戰(zhàn)的一部分：我們?nèi)绾尾捎脗鹘y(tǒng)的神經(jīng)網(wǎng)絡(luò)并減小其大小，同時(shí)保持輸出質(zhì)量?”

該團(tuán)隊(duì)還“在野外”測(cè)試了ClearBuds，方法是記錄八個(gè)人在嘈雜的環(huán)境中閱讀古騰堡計(jì)劃，例如咖啡店或繁忙的街道。然后，研究人員讓37人對(duì)這些錄音的10到60秒剪輯進(jìn)行評(píng)分。參與者將通過(guò)ClearBuds神經(jīng)網(wǎng)絡(luò)處理的剪輯評(píng)為具有最佳噪聲抑制和最佳整體聆聽(tīng)體驗(yàn)。

研究人員表示，ClearBuds的一個(gè)限制是人們必須同時(shí)佩戴兩個(gè)耳塞才能獲得降噪體驗(yàn)。

但該團(tuán)隊(duì)表示，這里開(kāi)發(fā)的實(shí)時(shí)通信系統(tǒng)可用于各種其他應(yīng)用，包括智能家居揚(yáng)聲器、跟蹤機(jī)器人位置或搜索和救援任務(wù)。

該團(tuán)隊(duì)目前正在努力提高神經(jīng)網(wǎng)絡(luò)算法的效率，以便它們可以在耳塞上運(yùn)行。