智能手機用戶會進(jìn)行大量的點擊 - 這是他們啟動應(yīng)用程序，輸入文本，多任務(wù)等的方式。問題是，可點擊按鈕并不總是很容易區(qū)分不可點擊的元素，雖然可用性研究在一定程度上防止了令人困惑的UI元素進(jìn)入開放狀態(tài)，但測試的結(jié)果必然僅限于特定的應(yīng)用程序和設(shè)計。

谷歌人工智能研究部門的研究人員在一篇新論文(“ 使用眾包和深度學(xué)習(xí)建模移動界面可用性 ”)和隨附的博客文章中提出了一個替代方案- 一個眾包任務(wù)，調(diào)查各種應(yīng)用程序中的元素，以衡量他們的“感知的適應(yīng)性” “他們說，在實驗中，AI模型的預(yù)測與90%%水平的基線一致，他們認(rèn)為這表明它可以避免手動測試的需要。

本文的作者首先分析潛在的視覺屬性或能指，影響應(yīng)用程序中的可應(yīng)用性(如元素類型，位置，大小，顏色和單詞)，然后眾包志愿者標(biāo)記大約20,000個獨特元素的“可點擊性”，大約3,500個應(yīng)用。他們使用這些樣本來訓(xùn)練神經(jīng)網(wǎng)絡(luò) - 以生物神經(jīng)元為模型的數(shù)學(xué)函數(shù)層 - 考慮到包括位置，單詞，類型和大小在內(nèi)的特征，以及從原始像素中提取特征并利用學(xué)習(xí)嵌入的卷積神經(jīng)網(wǎng)絡(luò)(實數(shù)的向量)來表示文本內(nèi)容和元素屬性。饋入完全連接的網(wǎng)絡(luò)層的特征以二進(jìn)制形式輸出給定元素的可讀性。

為了驗證該模型，研究團(tuán)隊編制了一份來自290名志愿者的數(shù)據(jù)集，這些志愿者的任務(wù)是在其感知的適應(yīng)性方面標(biāo)記2,000個元素中的每一個，每個元素由五個不同的用戶獨立標(biāo)記。他們發(fā)現(xiàn)，樣本中超過40%%的元素被志愿者標(biāo)記為不一致，這與人工智能系統(tǒng)相當(dāng)。此外，他們報告說，他們的方法得出了更明確的答案(tappable接近“1”的概率和“tappable”接近“0”的概率)，平均精度達(dá)到90.2%%，召回率達(dá)到87%%，與人類感知相匹配。

“攻擊是移動界面上最常用的手勢，用于觸發(fā)各種動作，從啟動應(yīng)用程序到輸入文本...... [但]預(yù)測可執(zhí)行性只是我們可以用機器學(xué)習(xí)來解決可用性的一個例子用戶界面問題，“谷歌人工智能研究科學(xué)家楊力寫道。“在交互設(shè)計和用戶體驗研究方面還有許多其他挑戰(zhàn)，深度學(xué)習(xí)模型可以提供一個工具來提煉大型，多樣化的用戶體驗數(shù)據(jù)集，并促進(jìn)對交互行為的科學(xué)理解。