韓國(guó)電子與電信研究所(ETRI)的研究人員最近開(kāi)發(fā)了一種神經(jīng)網(wǎng)絡(luò)模型，該模型可以生成同聲手勢(shì)序列。他們的模型經(jīng)過(guò)TED演講長(zhǎng)達(dá)52個(gè)小時(shí)的訓(xùn)練，成功產(chǎn)生了與語(yǔ)音內(nèi)容相匹配的類人手勢(shì)。

進(jìn)行這項(xiàng)研究的研究人員之一Youngwoo Yoon對(duì)TechXplore表示：“我們正在與之交互的智能設(shè)備已經(jīng)從個(gè)人計(jì)算機(jī)發(fā)展到手機(jī)和智能揚(yáng)聲器。” “我們認(rèn)為社交機(jī)器人可以成為下一個(gè)交互平臺(tái)。物理運(yùn)動(dòng)是社交機(jī)器人與其他智能設(shè)備之間的主要區(qū)別之一，為模仿人或動(dòng)物的行為開(kāi)辟了新的可能性，可以增加親密感。”

同語(yǔ)音手勢(shì)可以極大地改善人類與社交機(jī)器人之間的交互質(zhì)量?，F(xiàn)有的大多數(shù)機(jī)器人都使用基于規(guī)則的語(yǔ)音手勢(shì)關(guān)聯(lián)方法來(lái)產(chǎn)生手勢(shì)。但是，這些技術(shù)需要大量的努力，因?yàn)樗鼈兓谌祟惖膶I(yè)知識(shí)和知識(shí)。

尹恩說(shuō)：“我們希望產(chǎn)生自然的和人類般的社交行為，尤其是說(shuō)話時(shí)的手勢(shì)。” “觀察他人是學(xué)習(xí)新行為的非常自然的方式，因此我們提出了一種基于學(xué)習(xí)的手勢(shì)生成 模型，該模型在TED演講的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。”

Yoon和他的同事設(shè)計(jì)的模型在包含TED演講的52小時(shí)視頻鏡頭的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。訓(xùn)練后，該模型可以生成類似于人的手勢(shì)和上身姿勢(shì)的序列，以匹配書(shū)面語(yǔ)音文本。

Yoon解釋說(shuō)：“設(shè)計(jì)機(jī)器人的社會(huì)行為既困難又費(fèi)時(shí)，因?yàn)槲覀儽仨毧紤]環(huán)境，自然性，運(yùn)動(dòng)的美感，機(jī)器人的控制空間以及許多其他因素。” “最近的端到端學(xué)習(xí)研究揭示了人工智能產(chǎn)生這種復(fù)雜行為的潛力。在看到自動(dòng)駕駛和面部運(yùn)動(dòng)生成成功應(yīng)用后，我們決定將端到端學(xué)習(xí)應(yīng)用于語(yǔ)音合成手勢(shì)生成。”

Yoon和他的同事開(kāi)發(fā)的神經(jīng)網(wǎng)絡(luò)模型成功生成了幾種類型的手勢(shì)，包括標(biāo)志性，隱喻，指示性和拍打手勢(shì)。而且，它能夠?yàn)槿魏伍L(zhǎng)度的語(yǔ)音文本生成連續(xù)的手勢(shì)序列。

研究人員發(fā)現(xiàn)，他們的方法在創(chuàng)建類似于人類的手勢(shì)方面優(yōu)于基線方法。在一項(xiàng)主觀評(píng)估中，在Amazon Mechanical Turk上招募的46個(gè)人認(rèn)為該手勢(shì)所產(chǎn)生的手勢(shì)類似于人，并且與語(yǔ)音內(nèi)容非常匹配。

Yoon說(shuō)：“我們發(fā)現(xiàn)機(jī)器人可以學(xué)習(xí)社交技能。” “對(duì)于共語(yǔ)音手勢(shì)的生成，在大規(guī)模數(shù)據(jù)集上訓(xùn)練的模型足夠通用，因此機(jī)器人可以為任何語(yǔ)音做出類似人的手勢(shì)。我們認(rèn)為這種方法可以應(yīng)用于其他社交技能，以及視頻游戲和VR世界中的角色。”

Yoon和他的同事進(jìn)行的這項(xiàng)研究強(qiáng)調(diào)了端到端學(xué)習(xí)對(duì)于共語(yǔ)音手勢(shì)生成的潛力。在未來(lái)，它可以被用來(lái)提高人-機(jī)器人互動(dòng)，還可能激發(fā)類似的研究，作為T(mén)ED演講集他們使用的是公開(kāi)的。研究人員現(xiàn)在正計(jì)劃通過(guò)為不同的機(jī)器人生成個(gè)性化手勢(shì)來(lái)使他們的研究向前邁進(jìn)一步。

Yoon說(shuō)：“機(jī)器人可能像人一樣有自己的個(gè)性。” “個(gè)性化的手勢(shì)生成方法可以確保不同的機(jī)器人根據(jù)其角色來(lái)表達(dá)自己不同的手勢(shì)樣式。”