延世大學(xué)和洛桑聯(lián)邦理工學(xué)院(EPFL)的研究人員團隊最近開發(fā)了一種新技術(shù)，該技術(shù)可以通過分析圖像中的人臉以及上下文特征來識別情緒。他們在arXiv上預(yù)先發(fā)表的一篇論文中介紹并概述了他們基于深度學(xué)習(xí)的架構(gòu)，稱為CAER-Net。

幾年來，全世界的研究人員一直在嘗試開發(fā)通過分析圖像，視頻或音頻片段來自動檢測人類情緒的工具。這些工具可能具有許多應(yīng)用程序，例如，改善機器人與人的互動或幫助醫(yī)生識別精神或神經(jīng)疾病的跡象(例如，基于非典型的言語模式，面部特征等)。

到目前為止，大多數(shù)用于識別圖像中情緒的技術(shù)都是基于對人臉表情的分析，基本上是假設(shè)這些表情最能傳達人的情緒反應(yīng)。結(jié)果，用于訓(xùn)練和評估情緒識別工具的大多數(shù)數(shù)據(jù)集(例如，AFEW和FER2013數(shù)據(jù)集)僅包含人臉的裁剪圖像。

常規(guī)情緒識別工具的主要局限性在于，當(dāng)人們的面部表情模糊或難以區(qū)分時，它們無法獲得令人滿意的性能。與這些方法相反，人類不僅能夠基于自己的面部表情，而且能夠基于上下文線索(例如，他們正在執(zhí)行的動作，與他人的互動，所在的位置等)來識別他人的情緒。

過去的研究表明，同時分析面部表情和與上下文相關(guān)的特征可以顯著提高情緒識別工具的性能。受這些發(fā)現(xiàn)啟發(fā)，延世大學(xué)和EPFL的研究人員著手開發(fā)一種基于深度學(xué)習(xí)的體系結(jié)構(gòu)，該體系結(jié)構(gòu)可以基于人的面部表情和上下文信息識別圖像中的情緒。