康奈爾大學(xué)的研究人員開發(fā)了一種可穿戴式耳機(jī)設(shè)備——或“耳戴式”——它可以從臉頰反射聲音并將回聲轉(zhuǎn)換成一個(gè)人整個(gè)移動(dòng)面部的化身，利用聲學(xué)技術(shù)提供更好的隱私。

由信息科學(xué)助理教授ChengZhang和信息科學(xué)教授FrançoisGuimbretière領(lǐng)導(dǎo)的團(tuán)隊(duì)設(shè)計(jì)了該系統(tǒng)，命名為EarIO。它將面部動(dòng)作實(shí)時(shí)傳輸?shù)街悄苁謾C(jī)，并與市售的免提無線視頻會(huì)議耳機(jī)兼容。

張說，使用攝像頭跟蹤面部動(dòng)作的設(shè)備“體積大、重且耗能大，這對可穿戴設(shè)備來說是個(gè)大問題”。“同樣重要的是，它們捕獲了很多私人信息。”

他說，通過聲學(xué)技術(shù)進(jìn)行面部跟蹤可以提供更好的隱私性、可負(fù)擔(dān)性、舒適性和電池壽命。

該團(tuán)隊(duì)在“EarIO：一種用于持續(xù)跟蹤詳細(xì)面部動(dòng)作的低功率聲學(xué)傳感耳機(jī)”中描述了他們的耳機(jī)，該耳機(jī)發(fā)表在ACM的互動(dòng)、移動(dòng)、可穿戴和無處不在的技術(shù)上。

EarIO的工作原理就像一艘發(fā)出聲納脈沖的船。耳機(jī)兩側(cè)的揚(yáng)聲器向面部兩側(cè)發(fā)送聲學(xué)信號(hào)，麥克風(fēng)拾取回聲。當(dāng)佩戴者說話、微笑或揚(yáng)起眉毛時(shí)，皮膚會(huì)移動(dòng)和伸展，從而改變回聲輪廓。研究人員開發(fā)的深度學(xué)習(xí)算法使用人工智能不斷處理數(shù)據(jù)并將不斷變化的回聲轉(zhuǎn)換為完整的面部表情。

“通過人工智能的力量，該算法發(fā)現(xiàn)了人眼無法識(shí)別的肌肉運(yùn)動(dòng)和面部表情之間的復(fù)雜聯(lián)系，”信息科學(xué)領(lǐng)域的博士生、合著者李克說。“我們可以用它來推斷更難捕捉的復(fù)雜信息——整個(gè)正面。”

Zhang實(shí)驗(yàn)室之前使用帶攝像頭的耳機(jī)跟蹤面部運(yùn)動(dòng)的努力是根據(jù)從耳朵看到的臉頰運(yùn)動(dòng)重新創(chuàng)建整個(gè)面部。

通過收集聲音而不是大量數(shù)據(jù)的圖像，耳機(jī)可以通過無線藍(lán)牙連接與智能手機(jī)進(jìn)行通信，從而保持用戶信息的私密性。使用圖像，設(shè)備需要連接到Wi-Fi網(wǎng)絡(luò)并將數(shù)據(jù)來回發(fā)送到云，這可能使其容易受到黑客的攻擊。

“人們可能沒有意識(shí)到智能可穿戴設(shè)備有多么出色——這些信息對你有什么影響，以及公司可以用這些信息做什么，”Guimbretière說。通過面部圖像，人們還可以推斷出情緒和行為。“該項(xiàng)目的目標(biāo)是確保所有對您的隱私非常有價(jià)值的信息始終在您的控制之下并在本地計(jì)算。”

使用聲音信號(hào)也比記錄圖像消耗更少的能量，而EarIO使用的能量是Zhang實(shí)驗(yàn)室之前開發(fā)的另一個(gè)基于相機(jī)的系統(tǒng)的1/25。目前，這款耳機(jī)在無線耳機(jī)電池上可持續(xù)使用大約三個(gè)小時(shí)，但未來的研究將集中在延長使用時(shí)間上。

研究人員在16名參與者身上測試了該設(shè)備，并使用智能手機(jī)攝像頭來驗(yàn)證其面部模擬性能的準(zhǔn)確性。初步實(shí)驗(yàn)表明，它可以在用戶坐著和走動(dòng)時(shí)工作，并且風(fēng)、道路噪音和背景討論不會(huì)干擾其聲音信號(hào)。

在未來的版本中，研究人員希望提高耳塞消除附近噪音和其他干擾的能力。

“我們使用的聲學(xué)傳感方法非常敏感，”信息科學(xué)領(lǐng)域的博士生、合著者張瑞東說。“這很好，因?yàn)樗軌蚋櫡浅Ｎ⒚畹膭?dòng)作，但也很糟糕，因?yàn)楫?dāng)環(huán)境發(fā)生變化時(shí)，或者當(dāng)你的頭部輕微移動(dòng)時(shí)，我們也會(huì)捕捉到這一點(diǎn)。”

該技術(shù)的一個(gè)限制是，在第一次使用之前，EarIO必須收集32分鐘的面部數(shù)據(jù)來訓(xùn)練算法。“最終我們希望讓這個(gè)設(shè)備即插即用，”張說。