Facebook工程師今天在一篇博客文章中表示，電動(dòng)相機(jī)也被認(rèn)為是不切實(shí)際的，因?yàn)樗鼪]有提高Portal的可靠性。

建立門戶網(wǎng)站的工作始于兩年前，作為在加利福尼亞州門洛帕克的Facebook總部探索硬件產(chǎn)品的秘密8號樓項(xiàng)目的一部分，門戶團(tuán)隊(duì)負(fù)責(zé)人和Facebook副總裁拉法卡馬戈在去年秋天該設(shè)備首次亮相之前告訴VentureBeat。

Portal團(tuán)隊(duì)現(xiàn)在是Facebook的AR / VR部門的一部分。

使用Facebook Messenger進(jìn)行門戶視頻通話依賴于智能相機(jī)的計(jì)算機(jī)視覺，縮放和移動(dòng)到框架拍攝，并占據(jù)房間中每個(gè)人的情況 - 即使是距離相機(jī)20英尺的人。魚眼廣角相機(jī)鏡頭的140度視野意味著Portal無需移動(dòng)即可查看正在發(fā)生的事情。

智能音量還用于放大，縮小和調(diào)節(jié)音量以優(yōu)化通話聲音。

智能相機(jī)使用Mask R-CNN2Go運(yùn)行在設(shè)備上進(jìn)行機(jī)器學(xué)習(xí)，這是一種源自Mask R-CNN的計(jì)算機(jī)視覺系統(tǒng)，該系統(tǒng)于2017年在國際計(jì)算機(jī)視覺會議(ICCV)上獲得最佳論文獎(jiǎng)。

該系統(tǒng)使用姿勢識別來掃描每秒30幀以查找人物對象并正確地構(gòu)圖每個(gè)鏡頭。除了人工智能之外，相機(jī)還會考慮人們對相機(jī)移動(dòng)的反應(yīng)方式以及電影制作者關(guān)于如何拍攝照片的建議。

Facebook的門戶網(wǎng)站AI和移動(dòng)視覺團(tuán)隊(duì)采取措施解決這樣一個(gè)事實(shí)，即使用GPU運(yùn)行的系統(tǒng)必須減少到幾兆到小到足以在高通公司的Snapdragon神經(jīng)處理引擎上運(yùn)行。

“為了補(bǔ)償，我們開發(fā)了幾種策略，包括通過對訓(xùn)練數(shù)據(jù)集中的低光示例應(yīng)用數(shù)據(jù)增強(qiáng)來改善低光性能，并平衡多種姿勢檢測方法(例如檢測對象的頭部，軀干和整個(gè)身體) 。我們使用額外的預(yù)處理來區(qū)分彼此接近的多個(gè)人，“由軟件工程師Rahul Nallamothu和Eric Hwang，研究科學(xué)家Peter Vajda和工程總監(jiān)Matt Uyttendaele撰寫的博客文章說。

在未來，F(xiàn)acebook計(jì)劃讓智能相機(jī)智能化視頻通話環(huán)境，以便更好地確定如何構(gòu)建鏡頭。

“當(dāng)他或她在沙發(fā)上看電視時(shí)，我們可能想要以不同的方式拍攝不同的鏡頭，并使用不同類型的相機(jī)移動(dòng)，相比之下，當(dāng)他或她在沙發(fā)上看電視時(shí)，”該帖子寫道。

Portal與亞馬遜的Echo Show和Google的Home Hub的智能顯示器 以及JBL，Sony和Lenovo等制造商的顯示器競爭。智能顯示器與Google助手和亞馬遜的Alexa等AI助手互動(dòng)。Portal也可以與Alexa交談。

在去年年底宣布的一系列更新中，Portal獲得了一系列新功能，包括網(wǎng)絡(luò)瀏覽器，即時(shí)游戲和自定義視頻通話控制。