你可能已經(jīng)看過好萊塢明星的“動(dòng)作捕捉”套裝，穿著全身服裝，充??滿傳感器，讓電腦將它們變成綠巨人或龍或魔法野獸。

現(xiàn)在，普林斯頓教授Mala Murthy和Joshua Shaevitz的實(shí)驗(yàn)室之間的合作更進(jìn)一步，利用人工智能(AI)的最新進(jìn)展，在現(xiàn)有視頻中自動(dòng)跟蹤動(dòng)物的個(gè)體部位。

他們的新工具LEAP Estimates Animal Pose(LEAP)可以在幾分鐘內(nèi)訓(xùn)練，以高精度自動(dòng)跟蹤數(shù)百萬幀視頻中動(dòng)物的各個(gè)身體部位，而無需添加任何物理標(biāo)記或標(biāo)簽。

“該方法可廣泛用于動(dòng)物模型系統(tǒng)，它可用于測(cè)量具有基因突變或藥物治療的動(dòng)物的行為，”分子生物學(xué)和普林斯頓神經(jīng)科學(xué)研究所(PNI)副教授Murthy說。 。

詳細(xì)介紹新技術(shù)的論文將發(fā)表在2019年1月出版的“自然方法”雜志上，但其5月發(fā)布的開放版本已經(jīng)導(dǎo)致該軟件被許多其他實(shí)驗(yàn)室采用。

當(dāng)研究人員將LEAP與他們實(shí)驗(yàn)室開發(fā)的其他定量工具結(jié)合起來時(shí)，他們可以通過觀察動(dòng)物身體運(yùn)動(dòng)的模式來研究他們所謂的“行為語言”，物理學(xué)教授和Lewis-Sigler綜合基因組學(xué)研究所的Shaevitz說。 。

“這是一個(gè)靈活的工具，原則上可以用于任何視頻數(shù)據(jù)，”作為該論文第一作者的PNI研究生Talmo Pereira說。“它的工作方式是在幾個(gè)視頻中標(biāo)記幾個(gè)點(diǎn)，然后神經(jīng)網(wǎng)絡(luò)完成其余部分。我們提供了一個(gè)易于使用的界面，任何人都可以將LEAP應(yīng)用到自己的視頻中，而無需任何先前的編程知識(shí)。 “

當(dāng)被問及LEAP是否對(duì)大型哺乳動(dòng)物的效果與大多數(shù)初始受試者的蒼蠅和老鼠一樣好時(shí)，Pereira立即制作了一個(gè)動(dòng)態(tài)標(biāo)記的長頸鹿視頻，取自肯尼亞Mpala研究中心的現(xiàn)場(chǎng)飼料，普林斯頓是一個(gè)管理合作伙伴的實(shí)地研究站。

“我們從Mpala研究站拍攝了一只步行長頸鹿的視頻......并在30個(gè)視頻幀中標(biāo)記了點(diǎn)，這花了不到一個(gè)小時(shí)，”佩雷拉說。“LEAP隨后能夠在幾秒鐘內(nèi)跟蹤整個(gè)視頻的剩余部分(大約500幀)。”

以前開發(fā)可以跟蹤人體運(yùn)動(dòng)的AI工具的努力依賴于大量的手動(dòng)注釋數(shù)據(jù)訓(xùn)練集。這使得軟件可以在各種數(shù)據(jù)上穩(wěn)健地工作，具有截然不同的背景或照明條件。

“在我們的案例中，我們優(yōu)化了類似的方法來處理在實(shí)驗(yàn)室環(huán)境中收集的數(shù)據(jù)，其中條件在記錄中是一致的，”Murthy說。“我們建立了一個(gè)系統(tǒng)，允許用戶選擇適合用戶收集的數(shù)據(jù)類型的神經(jīng)網(wǎng)絡(luò)，而不是受到其他研究人員或公司工作的限制。”

該項(xiàng)目源于Murthy實(shí)驗(yàn)室的高級(jí)論文學(xué)生，2018年級(jí)的Diego Aldarondo和他的研究生導(dǎo)師Pereira之間的獨(dú)特合作，他由Murthy和Shaevitz共同建議。

“迭戈正在探索使用深度神經(jīng)網(wǎng)絡(luò)通過他在普林斯頓的一個(gè)計(jì)算機(jī)科學(xué)課程中注釋動(dòng)物行為數(shù)據(jù)，并在實(shí)驗(yàn)室與Talmo進(jìn)行深夜聊天，他意識(shí)到這些方法可以有力地應(yīng)用于他們自己的數(shù)據(jù)：果蠅在求偶儀式中互動(dòng)的視頻，“Murthy說。“合作從那里開始，共同合作令人難以置信 - 迭戈和Talmo展示了這些AI方法的有效性。”

英國皇家獸醫(yī)學(xué)院結(jié)構(gòu)與運(yùn)動(dòng)實(shí)驗(yàn)室的高級(jí)講師Monica Daley表示，這項(xiàng)工作在神經(jīng)科學(xué)之外也具有巨大的潛力，他沒有參與這項(xiàng)研究。

“我的大部分研究旨在了解動(dòng)物如何在不同的地形和環(huán)境條件下有效地移動(dòng)，”戴利說。“該領(lǐng)域最大的持續(xù)挑戰(zhàn)之一是從視頻片段中提取有關(guān)動(dòng)物運(yùn)動(dòng)的有意義的信息。我們要么手動(dòng)處理視頻，需要花費(fèi)數(shù)小時(shí)的繁瑣工作，要么專注于可以自動(dòng)化的非常簡(jiǎn)單和有限的分析。在本文中，我們有可能比以前更加自動(dòng)化勞動(dòng)密集型工作，這可以讓我們研究更多種類的動(dòng)物運(yùn)動(dòng)行為。“

一旦他們擁有運(yùn)動(dòng)和行為數(shù)據(jù)庫，團(tuán)隊(duì)中的神經(jīng)科學(xué)家就可以與他們背后的神經(jīng)過程建立聯(lián)系。這將使研究人員“不僅可以更好地了解大腦如何產(chǎn)生行為，”Shaevitz說，“而且還要探索依賴計(jì)算機(jī)解釋某人行為的未來診斷和療法。”

哈佛大學(xué)的研究人員在夏季分享了一個(gè)類似的工具，他們使用現(xiàn)有的神經(jīng)網(wǎng)絡(luò)架構(gòu)，而普林斯頓大學(xué)的團(tuán)隊(duì)創(chuàng)建了自己的工具。“我們的方法和他們的方法有不同的優(yōu)勢(shì)，”Murthy說。“現(xiàn)在這是一個(gè)令人難以置信的令人興奮的領(lǐng)域，在開發(fā)用于研究行為和神經(jīng)活動(dòng)的AI工具方面有很多活動(dòng)。”

“我們使用不同的方法，通過專注于快速專注于新數(shù)據(jù)集，更小，更精簡(jiǎn)的網(wǎng)絡(luò)可以實(shí)現(xiàn)高精度，”佩雷拉說。“更重要的是，我們表明現(xiàn)在有通過AI進(jìn)行動(dòng)物姿勢(shì)跟蹤的易用選項(xiàng)，我們希望這可以鼓勵(lì)該領(lǐng)域開始采用更加量化和精確的方法來衡量行為。”

“在過去五年中，神經(jīng)科學(xué)在技術(shù)觀察和操縱大腦活動(dòng)方面取得了巨大進(jìn)步，”共同作者，分子生物學(xué)和PNI教授Samuel Wang說。“現(xiàn)在，行為的自動(dòng)分類為該技術(shù)增添了重要的補(bǔ)充。普林斯頓正在成為計(jì)算神經(jīng)倫理學(xué)萌芽領(lǐng)域的中心樞紐。”