許多智能手機(jī)應(yīng)用程序(例如語(yǔ)音轉(zhuǎn)文本程序和Google Assistant)都由人工智能(AI)提供支持。公司還使用AI改善營(yíng)銷(xiāo)策略，向用戶(hù)推薦產(chǎn)品和服務(wù)，甚至生成有關(guān)患者可能的健康風(fēng)險(xiǎn)的預(yù)測(cè)。

為了使AI系統(tǒng)能夠提供此類(lèi)見(jiàn)解，它們需要接受相關(guān)數(shù)據(jù)的培訓(xùn)，例如個(gè)人的購(gòu)買(mǎi)習(xí)慣或醫(yī)療記錄，其中可能包含有關(guān)個(gè)人的敏感信息。一旦訓(xùn)練了AI模型，它就不會(huì)保留任何原始訓(xùn)練數(shù)據(jù)。這樣可以確保即使黑客撬開(kāi)這些AI程序的內(nèi)部功能，他們也不會(huì)收獲任何敏感信息。

但是，近年來(lái)，安全和隱私研究人員表明，AI模型易受推理攻擊的攻擊，使黑客能夠提取有關(guān)訓(xùn)練數(shù)據(jù)的敏感信息。攻擊涉及黑客反復(fù)要求AI服務(wù)生成信息并分析數(shù)據(jù)的模式。一旦確定了模式，他們就可以推斷出是否使用特定類(lèi)型的數(shù)據(jù)來(lái)訓(xùn)練AI程序。使用這些攻擊，黑客甚至可以重建最有可能用于訓(xùn)練AI引擎的原始數(shù)據(jù)集。

這種攻擊正成為全球許多組織關(guān)注的問(wèn)題。例如，2009年，美國(guó)國(guó)立衛(wèi)生研究院(NIH)發(fā)生了類(lèi)似的攻擊，NIH必須更改其對(duì)敏感醫(yī)學(xué)數(shù)據(jù)的訪(fǎng)問(wèn)策略。

新加坡國(guó)立大學(xué)計(jì)算機(jī)學(xué)院(NUS Computing)的助理教授Reza Shokri解釋說(shuō)：“由于系統(tǒng)僅假設(shè)黑客在提供信息時(shí)是常規(guī)用戶(hù)，因此難以檢測(cè)到推理攻擊。因此，公司目前無(wú)法知道他們的AI服務(wù)是否有風(fēng)險(xiǎn)，因?yàn)槟壳皼](méi)有現(xiàn)成的成熟工具。”

機(jī)器學(xué)習(xí)隱私權(quán)評(píng)估儀評(píng)估攻擊風(fēng)險(xiǎn)

為了解決這個(gè)問(wèn)題，同時(shí)也是國(guó)大總統(tǒng)年輕教授的Shokri教授及其團(tuán)隊(duì)開(kāi)發(fā)了一種成熟的開(kāi)源工具，可以幫助公司確定其AI服務(wù)是否易受此類(lèi)推理攻擊。該分析基于所謂的成員資格推斷攻擊，旨在確定特定數(shù)據(jù)記錄是否為模型訓(xùn)練數(shù)據(jù)的一部分。通過(guò)模擬這樣的攻擊，隱私分析算法可以量化模型在其訓(xùn)練集中有關(guān)各個(gè)數(shù)據(jù)記錄泄漏的程度。這反映了嘗試完全或部分重建數(shù)據(jù)集的不同攻擊的風(fēng)險(xiǎn)。它會(huì)生成大量報(bào)告，尤其是在所使用的培訓(xùn)數(shù)據(jù)中突出顯示脆弱區(qū)域。