如果您今年在家時(shí)一直在聽(tīng)更多播客，則可能已經(jīng)注意到虛擬對(duì)話增加的副作用：音頻質(zhì)量下降。通過(guò)電話或視頻聊天進(jìn)行的采訪通常包括背景噪音，混響和失真。

現(xiàn)在，普林斯頓大學(xué)研究人員部分開(kāi)發(fā)的新方法可以改善COVID時(shí)代及以后的聆聽(tīng)體驗(yàn)。使用稱為深度學(xué)習(xí)的人工智能(AI)方法，該技術(shù)可以轉(zhuǎn)換低質(zhì)量的人類語(yǔ)音錄音，從而接近錄音室錄制的聲音的清晰度和清晰度。

雖然其他基于AI的用于改善語(yǔ)音記錄的方法通常只解決音頻質(zhì)量的一個(gè)方面，例如濾除背景噪聲或消除混響，但該方法更像是一種多合一的工具。最終，研究人員希望將其框架應(yīng)用于完全自動(dòng)化的實(shí)時(shí)語(yǔ)音增強(qiáng)。

計(jì)算機(jī)科學(xué)專業(yè)的研究生，論文的主要作者蘇佳琪說(shuō)：“以前的方法主要集中在提高語(yǔ)音的清晰度上，但是這些方法可以使聆聽(tīng)體驗(yàn)更平坦，因此所得到的質(zhì)量對(duì)于聆聽(tīng)來(lái)說(shuō)并不是那么好。描述了該方法，研究人員將其稱為HiFi-GAN。

HiFi-GAN使用人工神經(jīng)網(wǎng)絡(luò)，這是深度學(xué)習(xí)的關(guān)鍵工具，可模仿生物神經(jīng)元的互連架構(gòu)。在該系統(tǒng)中，兩個(gè)獨(dú)立的網(wǎng)絡(luò)競(jìng)爭(zhēng)以提高音頻質(zhì)量。一個(gè)稱為生成器的網(wǎng)絡(luò)會(huì)產(chǎn)生語(yǔ)音的清理記錄。另一個(gè)網(wǎng)絡(luò)稱為鑒別器，它分析記錄以試圖確定它們是真實(shí)的錄音室質(zhì)量的記錄還是已被發(fā)生器清除的音頻。這些生成對(duì)抗網(wǎng)絡(luò)(GAN)之間的競(jìng)爭(zhēng)提高了該方法產(chǎn)生清晰音頻的能力。

產(chǎn)生者和歧視者網(wǎng)絡(luò)參與了一場(chǎng)軍備競(jìng)賽。合著者，計(jì)算機(jī)科學(xué)教授亞當(dāng)·芬克爾斯坦(Adam Finkelstein)說(shuō)：“生成器的工作是試圖欺騙鑒別器。” “他們兩個(gè)人一路攀升，在訓(xùn)練中每個(gè)人都變得越來(lái)越有效。完成這一過(guò)程后，您就可以扔掉鑒別器，而您所擁有的就是一個(gè)很棒的發(fā)生器。”