北卡羅萊納州立大學的人工智能研究人員通過將特征歸一化和特征關注模塊合并到一個稱為注意力歸一化(AN)的模塊中，提高了深度神經(jīng)網(wǎng)絡的性能?；旌夏K可顯著提高系統(tǒng)的精度，同時使用可忽略的額外計算能力。

“特征規(guī)范化是訓練深度神經(jīng)網(wǎng)絡的關鍵要素，特征關注對于幫助網(wǎng)絡強調從原始數(shù)據(jù)中學到的哪些特征對于完成給定任務最重要，也同樣重要，”該論文的相應作者吳天福說。他是北卡羅來納州立大學的電氣和計算機工程副教授。“但是大多數(shù)情況下，它們已被單獨對待。我們發(fā)現(xiàn)將它們結合起來可以使它們更加有效。”

為了測試他們的AN模塊，研究人員將其插入了四種最廣泛使用的神經(jīng)網(wǎng)絡體系結構：ResNets，DenseNets，MobileNetsV2和AOGNets。然后，他們針對兩個行業(yè)標準基準測試了網(wǎng)絡：ImageNet-1000分類基準和MS-COCO 2017對象檢測和實例分割基準。

Wu說：“我們發(fā)現(xiàn)在兩個基準測試中，AN都改善了所有四種架構的性能。” “例如，ImageNet-1000的top-1精度提高了0.5%到2.7%。MS-COCO中，包圍盒的平均精度(AP)精度提高了1.8%，語義蒙版的精度提高了2.2%。

Wu說：“ AN的另一個優(yōu)勢是，它可以促進不同領域之間更好的轉移學習。” “例如，從ImageNet中的圖像分類到MS-COCO中的對象檢測和語義分割。這可以通過對MS-COCO基準進行性能改進來說明，這是通過在MS-COCO中微調ImageNet預訓練的深度神經(jīng)網(wǎng)絡而獲得的。 COCO，最先進的計算機視覺中的常見工作流程。

“我們已經(jīng)發(fā)布了源代碼，希望我們的AN能夠帶來更好的深度神經(jīng)網(wǎng)絡集成設計。”

在8月23日至28日在線召開的歐洲計算機視覺會議(ECCV)上，發(fā)表了論文“ Attentive Normalization ”。該論文是由最近的博士學位的李錫來合著的。畢業(yè)于北卡羅來納州立大學;由博士學位的孫偉 北卡羅來納州立大學的學生。