分類器是現(xiàn)代機(jī)器學(xué)習(xí)的主要內(nèi)容。簡(jiǎn)而言之，他們按類型對(duì)輸入數(shù)據(jù)(照片，視頻，對(duì)象和錄音)進(jìn)行分類，并且非常有效地完成。但是，當(dāng)分類器需要新類(即新類別)時(shí)會(huì)出現(xiàn)問(wèn)題。甚至添加一個(gè)新類傳統(tǒng)上是艱巨的，涉及大量的數(shù)據(jù)收集和模型再培訓(xùn)。

但亞馬遜Alexa研究部門的科學(xué)家表示，不一定非要這樣。

在一篇新的博客文章和隨附的論文(“ 使用源模型和目標(biāo)數(shù)據(jù)進(jìn)行序列標(biāo)記的轉(zhuǎn)移學(xué)習(xí)”)中，亞馬遜的Alexa部門的研究人員描述了一種僅使用新類的訓(xùn)練數(shù)據(jù)來(lái)更新分類器的方法。他們說(shuō)，這表明可以將AI系統(tǒng)及其學(xué)習(xí)參數(shù)(用于控制模型某些屬性的值)轉(zhuǎn)移到一個(gè)訓(xùn)練有素的新系統(tǒng)來(lái)識(shí)別另一個(gè)類。

Alexa Search團(tuán)隊(duì)的首席科學(xué)家亞歷山德羅•莫斯基蒂(Alessandro Moschitti)寫(xiě)道：“將現(xiàn)有網(wǎng)絡(luò)適應(yīng)新數(shù)據(jù)類的問(wèn)題一般都很有意思，但這對(duì)Alexa來(lái)說(shuō)尤為重要。” “Alexa的科學(xué)家和工程師為Alexa的核心功能投入了大量的精力，但通過(guò)Alexa技能套件，我們還讓第三方開(kāi)發(fā)人員能夠建立自己的Alexa技能--70,000并計(jì)算。我們?cè)谛抡撐闹醒芯康倪m應(yīng)類型 - 或“轉(zhuǎn)移學(xué)習(xí)”將使第三方開(kāi)發(fā)人員可以直接使用我們的內(nèi)部系統(tǒng)而無(wú)需訪問(wèn)內(nèi)部培訓(xùn)數(shù)據(jù)。

在他們的研究過(guò)程中，該團(tuán)隊(duì)著手為神經(jīng)網(wǎng)絡(luò)添加一個(gè)類 - 在大腦中的神經(jīng)元模擬的數(shù)學(xué)函數(shù)層 - 訓(xùn)練以識(shí)別在線新聞文章中的人和組織。他們保留了原始分類器，但是通過(guò)一個(gè)單獨(dú)的網(wǎng)絡(luò)傳遞了它的輸出 - 一個(gè)“神經(jīng)適配器” - 它們的輸出被輸入到第二個(gè)并行分類器中，該分類器訓(xùn)練有關(guān)新類的數(shù)據(jù)。最后，他們將適配器和新分類器一起訓(xùn)練。

結(jié)果：一個(gè)新的位置分類網(wǎng)絡(luò)，通過(guò)人員和組織分類網(wǎng)絡(luò)及其參數(shù)進(jìn)行培訓(xùn)。

該團(tuán)隊(duì)測(cè)試了兩種網(wǎng)絡(luò)架構(gòu)，其中一種具有條件隨機(jī)場(chǎng)(CRF) - 一種常用于模式識(shí)別并用于結(jié)構(gòu)化預(yù)測(cè)的統(tǒng)計(jì)建模方法。此外，他們嘗試了兩種不同的轉(zhuǎn)移學(xué)習(xí)方法：一種依賴于上述神經(jīng)適配器，另一種是擴(kuò)展訓(xùn)練的分類器的功能輸出層的大小以及緊接其下方的功能層。

最后，他們發(fā)現(xiàn)具有CRF的AI系統(tǒng)在原始數(shù)據(jù)上保持高精度 - 91.08%% - 并且在新數(shù)據(jù)上實(shí)現(xiàn)了90.73%%的準(zhǔn)確性。

“我們的實(shí)驗(yàn)......表明......當(dāng)目標(biāo)數(shù)據(jù)包含新類別時(shí)，源模型中的學(xué)到的知識(shí)可以有效地轉(zhuǎn)移，”Moschitti及其同事寫(xiě)道，“并且......我們的神經(jīng)適配器進(jìn)一步改善了這種轉(zhuǎn)移。