食品包裝行業(yè)對(duì)自動(dòng)化的需求不斷增長;然而，由于所處理食品類型的顯著多樣性以及形狀和大小的顯著差異，阻礙了這一進(jìn)展。arXiv.org最近的一項(xiàng)研究建議使用模擬中生成的合成數(shù)據(jù)，使用真實(shí)食物的高度逼真的3D模型來訓(xùn)練實(shí)例分割模型。

研究人員應(yīng)用sim2real和域隨機(jī)化的思想，使經(jīng)過合成數(shù)據(jù)訓(xùn)練的模型無需額外訓(xùn)練即可轉(zhuǎn)移到現(xiàn)實(shí)世界。這能夠避免收集注釋的成本和困難。

研究人員還處理食品易碎的問題。他們提出了一種新的自適應(yīng)手指機(jī)制，當(dāng)它遇到食物表面時(shí)會(huì)被動(dòng)縮回，并提出了一種抓取過濾啟發(fā)式方法，可以過濾可能損壞鄰近食物的危險(xiǎn)抓取候選物。

食品包裝行業(yè)處理種類繁多、形狀和尺寸各異的食品，即使是在一種食品中也是如此。菜單也多種多樣且經(jīng)常變化，使得拾取和放置的自動(dòng)化變得困難。一種流行的分箱方法是首先使用實(shí)例分割方法識(shí)別托盤中的每一塊食物。然而，訓(xùn)練這些方法的人工注釋是不可靠且容易出錯(cuò)的，因?yàn)槭澄锉痪o密包裝在一起，邊界不明確，視覺相似性使得碎片難以分離。為了解決這個(gè)問題，我們提出了一種方法，該方法完全基于合成數(shù)據(jù)進(jìn)行訓(xùn)練，并使用sim2real方法成功轉(zhuǎn)移到現(xiàn)實(shí)世界，方法是使用高質(zhì)量的真實(shí)食物3d模型為訓(xùn)練實(shí)例分割模型創(chuàng)建填充食物托盤的數(shù)據(jù)集。另一個(gè)問題是食物在抓取過程中很容易損壞。我們通過引入兩種額外的方法來解決這個(gè)問題——一種新的自適應(yīng)手指機(jī)制，當(dāng)發(fā)生碰撞時(shí)被動(dòng)縮回，以及一種過濾在抓取過程中可能對(duì)相鄰食物塊造成損壞的抓取的方法。我們證明了所提出的方法在幾種真實(shí)食物上的有效性。