《指環(huán)王》中的Gollum，《復(fù)仇者聯(lián)盟》中的Thanos，《星球大戰(zhàn)》中的Snoke，《阿凡達(dá)》中的Na'vi –我們都經(jīng)歷了動(dòng)作捕捉的奇妙之處，這是一種電影技術(shù)，可以追蹤演員的動(dòng)作，并將其轉(zhuǎn)換為計(jì)算機(jī)動(dòng)畫，以創(chuàng)造出動(dòng)人的，動(dòng)人的，甚至可能有一天獲得奧斯卡獎(jiǎng)的數(shù)字角色。

但是，許多人可能沒有意識(shí)到，動(dòng)作捕捉并不僅限于大屏幕，而是延伸到了科學(xué)領(lǐng)域。行為科學(xué)家一直在開發(fā)并使用類似的工具來研究和分析各種條件下動(dòng)物的姿勢(shì)和運(yùn)動(dòng)。但是運(yùn)動(dòng)捕捉方法還要求對(duì)象穿著帶有標(biāo)記的復(fù)雜服裝，以使計(jì)算機(jī)“知道”人體各部分在三維空間中的位置。對(duì)于專業(yè)演員來說，這可能還不錯(cuò)，但動(dòng)物往往不愿打扮。

為了解決這個(gè)問題，科學(xué)家們已經(jīng)開始將運(yùn)動(dòng)捕捉與深度學(xué)習(xí)相結(jié)合，這種方法可以讓計(jì)算機(jī)從本質(zhì)上教自己如何優(yōu)化執(zhí)行任務(wù)，例如識(shí)別視頻中的特定“關(guān)鍵點(diǎn)”。這個(gè)想法是教計(jì)算機(jī)無需運(yùn)動(dòng)捕捉標(biāo)記就可以跟蹤甚至預(yù)測(cè)動(dòng)物的運(yùn)動(dòng)或姿勢(shì)。

但是，要想在行為科學(xué)中發(fā)揮有意義的作用，無標(biāo)記跟蹤工具還必須允許科學(xué)家從字面上實(shí)時(shí)地快速控制或刺激動(dòng)物的神經(jīng)活動(dòng)。在嘗試找出神經(jīng)系統(tǒng)的哪一部分構(gòu)成特定姿勢(shì)運(yùn)動(dòng)的實(shí)驗(yàn)中，這一點(diǎn)尤其重要。

DeepLabCut：深度學(xué)習(xí)，無標(biāo)記姿勢(shì)跟蹤

率先采用無標(biāo)記方法的科學(xué)家之一是Mackenzie Mathis，他最近從哈佛大學(xué)加入EPFL的生命科學(xué)學(xué)院。Mathis的實(shí)驗(yàn)室一直在開發(fā)一個(gè)名為DeepLabCut的深度學(xué)習(xí)軟件工具箱，該工具箱可以直接從視頻中實(shí)時(shí)跟蹤和識(shí)別動(dòng)物運(yùn)動(dòng)?，F(xiàn)在，馬蒂斯和她的哈佛大學(xué)博士后研究員加里·凱恩(Gary Kane)在eLife上發(fā)表的一篇論文中，提出了一個(gè)名為DeepLabCut-Live的新版本!(DLC-Live!)，它具有低延遲(在超過100 FPS的情況下，在15毫秒之內(nèi))-或與我們提供的用于向前預(yù)測(cè)姿勢(shì)的模塊一起可以實(shí)現(xiàn)零延遲反饋，并且可以集成到其他軟件包中。

DeepLabCut最初是為了研究和分析動(dòng)物響應(yīng)其環(huán)境變化而適應(yīng)其姿勢(shì)的方式而開發(fā)的。“我們對(duì)神經(jīng)回路如何控制行為感興趣，特別是對(duì)動(dòng)物如何適應(yīng)環(huán)境的快速變化很感興趣，”馬蒂斯說。

“例如，您將咖啡倒入杯子中，當(dāng)咖啡充滿時(shí)，咖啡就具有一定的重量。但是，當(dāng)您喝咖啡時(shí)，重量會(huì)發(fā)生變化，但是您無需積極考慮改變抓地力或需要改變多少抬起手臂伸到嘴里。這是我們很自然的事情，我們可以很快適應(yīng)這些變化。但這實(shí)際上涉及從皮質(zhì)到脊髓的大量相互連接的神經(jīng)回路。”

DLC-Live!是最新的“動(dòng)物姿勢(shì)估計(jì)程序包”的新更新，該程序使用量身定制的網(wǎng)絡(luò)根據(jù)視頻幀預(yù)測(cè)動(dòng)物的姿勢(shì)，離線可在標(biāo)準(zhǔn)GPU上實(shí)現(xiàn)2500 FPS 。它的高通量分析使其對(duì)于研究和探究行為的神經(jīng)機(jī)制具有不可估量的價(jià)值?，F(xiàn)在，有了這個(gè)新程序包，它的低延遲使研究人員可以實(shí)時(shí)給動(dòng)物反饋并測(cè)試特定神經(jīng)回路的行為功能。而且，更重要的是，它可以與姿勢(shì)研究中使用的硬件接口，以向動(dòng)物提供反饋。

“這對(duì)于我們自己的研究程序中的事情很重要，在該程序中您希望能夠操縱動(dòng)物的行為，”馬蒂斯說。“例如，在我們進(jìn)行的一項(xiàng)行為研究中，我們訓(xùn)練鼠標(biāo)在實(shí)驗(yàn)室中玩電子游戲，我們希望在真正特定的時(shí)間窗口內(nèi)關(guān)閉特定的神經(jīng)元或大腦回路，即觸發(fā)激光進(jìn)行光遺傳學(xué)或觸發(fā)外部獎(jiǎng)勵(lì)。”

她補(bǔ)充說：“我們希望使DLC-Live!超級(jí)用戶友好，并使其適用于任何環(huán)境中的任何物種。” “它實(shí)際上是模塊化的，可以在許多不同的環(huán)境中使用;運(yùn)行實(shí)驗(yàn)的人可以使用我們的圖形用戶界面來設(shè)置條件以及他們想要輕松觸發(fā)的條件。我們還內(nèi)置了與其他常見神經(jīng)科學(xué)平臺(tái)配合使用的能力。” 其中兩個(gè)常用的平臺(tái)是Bonsai和Autopilot，在論文中，開發(fā)了這些軟件包的Mathis及其同事展示了DLC-Live!可以輕松地與他們合作。

“這是經(jīng)濟(jì)的，具有可擴(kuò)展性，我們希望這是一項(xiàng)技術(shù)進(jìn)步，可以提出更多有關(guān)大腦如何控制行為的問題，”馬蒂斯說。