這個想法在理論上聽起來很不錯：大學(xué)不給全額獎學(xué)金，而是可以優(yōu)化使用獎學(xué)金的資金，以吸引愿意支付大部分學(xué)費(fèi)的學(xué)生。

因此，與其向一個有需要的學(xué)生提供20,000美元的獎學(xué)金，不如將相同的金額分成四個分別為5,000美元的獎學(xué)金，并懸在他們面前，讓更富有的學(xué)生選擇其他學(xué)校。吸引4名付費(fèi)學(xué)生而不是1名非付費(fèi)學(xué)生，將在四年內(nèi)創(chuàng)造240,000美元的額外學(xué)費(fèi)收入。

廣泛使用的實(shí)踐被稱為“財務(wù)援助利用”，它是機(jī)器學(xué)習(xí)的一種完美應(yīng)用，機(jī)器學(xué)習(xí)是預(yù)測分析的一種形式，已經(jīng)席卷了整個商業(yè)世界。但事實(shí)證明，這種杠桿作用的長期意想不到的結(jié)果是經(jīng)濟(jì)類之間的學(xué)生人數(shù)失衡，較富裕的申請人獲得錄取，卻犧牲了較貧窮但同樣合格的同齡人。

機(jī)器學(xué)習(xí)是人工智能的一個分支，它對大型數(shù)據(jù)集應(yīng)用專門的算法，以發(fā)現(xiàn)影響結(jié)果的因素，由于涉及的數(shù)據(jù)量巨大，這些結(jié)果可能對人類是不可見的。研究人員正在使用機(jī)器學(xué)習(xí)來解決各種難以想象的復(fù)雜性任務(wù)，例如通過關(guān)聯(lián)數(shù)百萬患者用藥記錄來確定有害藥物的相互作用或確定導(dǎo)致工廠設(shè)備故障的新因素。

諸如Facebook Inc.，Google LLC和Microsoft Corp.等網(wǎng)絡(luò)規(guī)模的巨頭通過在開源許可下發(fā)布強(qiáng)大的機(jī)器學(xué)習(xí)框架而引起了人們的狂熱。自2010年以來，頂級大學(xué)的機(jī)器學(xué)習(xí)課程注冊人數(shù)增加了兩倍。自2012年以來，使用“機(jī)器學(xué)習(xí)”一詞的Google搜索量增長了近七倍。

現(xiàn)在，公司將機(jī)器學(xué)習(xí)作為從企業(yè)供應(yīng)鏈管理軟件到娃娃的一切內(nèi)容的組成部分。然而，盡管有很多炒作，但許多人仍然對機(jī)器學(xué)習(xí)的功能還只有初步的了解，最重要的是，它會出錯。

可疑的結(jié)果

金融援助的杠桿作用是康奈爾大學(xué)的薩米爾·帕西(Samir Passi)和索倫·巴洛卡斯(Solon Barocas)在有關(guān)問題制定的公平性的最新論文中引用的機(jī)器學(xué)習(xí)成果令人質(zhì)疑的幾個例子之一。錯誤的假設(shè)，未能就期望的結(jié)果達(dá)成共識以及不完整的訓(xùn)練數(shù)據(jù)引入的無意偏見只是一些因素可能導(dǎo)致機(jī)器學(xué)習(xí)程序脫軌，產(chǎn)生的數(shù)據(jù)充其量是最無用的，最糟糕的是會引起誤解。

“人們通常認(rèn)為不良的機(jī)器學(xué)習(xí)系統(tǒng)等同于不良行為者，但我認(rèn)為更常見的問題是意料之外的不良副作用，” Passi在接受SiliconANGLE采訪時說。

盡管沒有證據(jù)表明誤導(dǎo)的機(jī)器學(xué)習(xí)算法已殺死任何人，但有大量證據(jù)表明它們造成了傷害。2016年P(guān)ro Publica對美國執(zhí)法機(jī)構(gòu)廣泛用于預(yù)測屢犯的風(fēng)險評估算法的分析發(fā)現(xiàn)，盡管種族在技術(shù)上并不是影響方程式的因素，但大多數(shù)人對非裔美國人的被告表現(xiàn)出強(qiáng)烈的偏見。

這并不會讓Passi感到驚訝。他指出，執(zhí)法機(jī)構(gòu)經(jīng)常將逮捕視為的代理。他說：“因此，他們尋找逮捕最多的地區(qū)，并在那里分配更多的警察資源。” “部署更多人員會導(dǎo)致更多人被捕，這會增加率的統(tǒng)計數(shù)據(jù)。”

在一個例子中，對于企業(yè)高管而言，亞馬遜公司在經(jīng)過三年的開發(fā)后于2017年放棄了基于機(jī)器學(xué)習(xí)的招聘應(yīng)用程序，當(dāng)時該軟件顯示出對男性候選人的持續(xù)偏見，盡管亞馬遜做出了努力。問題的根源是亞馬遜用來培訓(xùn)應(yīng)用程序的數(shù)據(jù)：它主要由男性主導(dǎo)的計算機(jī)行業(yè)的候選人的簡歷組成。即使在被指示忽略候選人的性別之后，該算法還是學(xué)會了偏愛男性通常用來形容自己的某些術(shù)語。

另一種結(jié)果

這些示例強(qiáng)調(diào)了機(jī)器學(xué)習(xí)和AI其他應(yīng)用程序所特有的動態(tài)：傳統(tǒng)程序定義了嚴(yán)格的過程以實(shí)現(xiàn)可重現(xiàn)的結(jié)果，而機(jī)器學(xué)習(xí)算法可以識別方程式中未明確說明的因素。因此，想要使用這些功能強(qiáng)大的新工具的組織需要特別注意數(shù)據(jù)質(zhì)量，測試和透明過程。

MapR Technologies Inc.的首席應(yīng)用架構(gòu)師Ted Dunning說：“當(dāng)您學(xué)習(xí)而不是根據(jù)規(guī)范進(jìn)行設(shè)計時，您對系統(tǒng)應(yīng)該做什么一無所知，因此很難預(yù)測結(jié)果。” 2014年出版的“實(shí)用機(jī)器學(xué)習(xí)異常檢測”一書。

這些示例并不意味著暗示機(jī)器學(xué)習(xí)本質(zhì)上是不可信的，也不意味著貶低其巨大的價值。但是，這是一個警告性的故事，說明了在不了解影響人工智能決策的因素的情況下，將人工智能引擎的建議按其實(shí)際價值承擔(dān)的風(fēng)險。

像大多數(shù)人工智能分支一樣，機(jī)器學(xué)習(xí)也獲得了一種黑匣子式的神秘感，可以輕易掩蓋其某些固有的弱點(diǎn)。盡管計算機(jī)在下棋和駕駛無人駕駛汽車等任務(wù)方面取得了令人印象深刻的進(jìn)步，但它們的算法僅與制造它們的人和獲得的數(shù)據(jù)一樣好。

結(jié)果：在未來幾年中，機(jī)器學(xué)習(xí)的工作可能會集中在破解黑匣子上，并設(shè)計出更強(qiáng)大的方法來確保這些算法能夠?qū)崿F(xiàn)應(yīng)有的作用并避免附帶損害。

任何開始使用機(jī)器學(xué)習(xí)的組織都應(yīng)了解該技術(shù)的局限性及其功能。SiliconANGLE聯(lián)絡(luò)的專家列舉了五個要注意的方面：

1.定義術(shù)語

成功對不同的人意味著不同的事情。讓他們達(dá)成共識可能是一項(xiàng)非常艱巨的任務(wù)。

Passi和Barocas在問題解答紙中講述了一家公司的真實(shí)故事，該公司專門收集有關(guān)需要購車貸款但信用評級不佳的人的財務(wù)數(shù)據(jù)。該公司將這些人的名字賣給汽車經(jīng)銷商，他們可以選擇向他們出售汽車。該公司希望利用數(shù)據(jù)科學(xué)來提高銷售線索的質(zhì)量，這個目標(biāo)似乎很簡單。希望是，數(shù)據(jù)科學(xué)能夠在粗糙的環(huán)境下產(chǎn)生出鉆石：信用歷史混雜的買家仍然是良好的信用風(fēng)險。

但是該項(xiàng)目失敗了，因?yàn)樵趶氖裁礃?gòu)成良好的線索到定義高信用分?jǐn)?shù)的所有方面都存在分歧。數(shù)據(jù)科學(xué)團(tuán)隊無法保護(hù)將信用評級與個人匹配所需的數(shù)據(jù)，并且由于評分機(jī)制不一致，因此不得不將潛在購買者分為兩類。

結(jié)果是經(jīng)銷商將被限制為兩組候選人：一組被認(rèn)為具有良好的信用風(fēng)險，而另一組則沒有。較低級別的候選人將永遠(yuǎn)不會考慮獲得資助，從而實(shí)際上破壞了該項(xiàng)目的最初目標(biāo)。

這個故事象征著一個容易使機(jī)器學(xué)習(xí)項(xiàng)目受挫的問題：同一個團(tuán)隊中同一公司中的人們對成功的定義常常不同。通常他們甚至都不知道。

Indico Data Solutions Inc.公司的首席執(zhí)行官Tom Wilde回憶說，該公司使用機(jī)器學(xué)習(xí)通過解釋非結(jié)構(gòu)化數(shù)據(jù)來改善流程，他回憶說與一家金融機(jī)構(gòu)合作開展了一個項(xiàng)目，該項(xiàng)目希望自動分析提案請求。該任務(wù)涉及評估大約40個屬性，團(tuán)隊成員認(rèn)為這些屬性已經(jīng)很好理解。

王爾德說：“我們發(fā)現(xiàn)這些定義的一致性約為20%。” “這種模式不可能成功。”

在Couchbase Inc.，一個客戶想要優(yōu)化促銷活動，以最大程度地吸引最大的潛在花費(fèi)者，原因是其供應(yīng)商之間在最基本的數(shù)據(jù)元素上缺乏共識。

Couchbase產(chǎn)品管理總監(jiān)Sachin Smotra說：“我們在定義過程中發(fā)現(xiàn)，他們有七個不同的性別定義，分別是男性，女性，未定和幾種變體。” “他們正在與五個不同的合作伙伴合作，每個合作伙伴都有自己的定義。”

MapR的Dunning回憶起他從事的一個旨在推薦視頻的項(xiàng)目。團(tuán)隊選擇根據(jù)用戶點(diǎn)擊最多的標(biāo)題來構(gòu)建模型，但最初的結(jié)果令人失望。事實(shí)證明，“人們在視頻上放了可怕的標(biāo)題，”鄧寧說。“我們將數(shù)據(jù)從點(diǎn)擊更改為30秒，結(jié)果是建議的價值提高了400%至500%。” 因此，輸入變量的微小變化會對結(jié)果質(zhì)量產(chǎn)生巨大的放大作用。

專家們說，在所有這些例子中都得到了教訓(xùn)：達(dá)成共識，即要衡量的內(nèi)容和有意義的數(shù)據(jù)是必不可少的第一步。否則，從一開始就將誤導(dǎo)假設(shè)。

2.選擇正確的問題來解決

作為預(yù)測分析的一種形式，當(dāng)過去的數(shù)據(jù)可以預(yù)測未來的結(jié)果時，機(jī)器學(xué)習(xí)效果最佳。這使其非常適合諸如機(jī)器日志文件中的異常檢測和預(yù)測性維護(hù)之類的應(yīng)用程序，但對于股票市場預(yù)測或諸如“生命的意義是什么?

“使用機(jī)器學(xué)習(xí)的原因有兩個：要么是數(shù)據(jù)量太多，要么是輸入矢量太多，”紅帽公司卓越人工智能中心的高級主管丹尼爾·里耶克(Daniel Riek)說。適用于機(jī)器學(xué)習(xí)的用例。”

專家建議著重解決輸入范圍有限和可能產(chǎn)生的結(jié)果方面的問題。Indico的Wilde說：“我們發(fā)現(xiàn)許多AI計劃都是從發(fā)現(xiàn)項(xiàng)目開始的，沒有考慮到任何實(shí)際的業(yè)務(wù)成果。” “幾乎所有人都失速了。”

即使變量和結(jié)果定義明確，預(yù)測模型也很少能確定。IBM公司分析部門副總裁兼首席數(shù)據(jù)官Seth Dobrin說：“這是概率，而不是確定性。您沒有明確的答案，而是有可能的。”

最近的一個突出例子是2016年美國總統(tǒng)大選?；谠敿?xì)記錄的人口統(tǒng)計資料和歷史投票模式，大多數(shù)機(jī)器學(xué)習(xí)模型都預(yù)測希拉里·克林頓會獲勝。但是這些模型無法考慮到意外事件，例如重新啟動FBI調(diào)查或虛假新聞。

即使沒有這些因素，最好的模型也只能以大約70%的概率預(yù)測克林頓獲勝，這給他留下了很大的余地。選民和新聞媒體可能會對結(jié)果感到驚訝，但統(tǒng)計學(xué)家并不對此感到驚訝。

政治和體育分析網(wǎng)站FiveThirtyEight的創(chuàng)始人兼總編輯內(nèi)特·西爾弗( Nate Silver)寫道：“在民意測驗(yàn)中勉強(qiáng)獲勝的情況下勉強(qiáng)獲勝，這確實(shí)是例行公事，而且引人注目。” “可以說，結(jié)果完全在'不確定性的范圍內(nèi)'。”

充其量來說，機(jī)器學(xué)習(xí)過程的結(jié)果應(yīng)該是一粒鹽。“從您的訓(xùn)練數(shù)據(jù)中得出的基本概率是，一定的輸入會產(chǎn)生一定的輸出，” Red Hat的Riek說。“然后遍歷生產(chǎn)，看看結(jié)果是否可以接受。”

重復(fù)結(jié)果的能力很重要。當(dāng)呈現(xiàn)相似但不相同的數(shù)據(jù)集時，機(jī)器學(xué)習(xí)模型每次運(yùn)行時都應(yīng)返回相似的結(jié)果。連續(xù)的驗(yàn)證測試和重復(fù)可提高信心。“如果您運(yùn)行相同的模型30次，則每次都應(yīng)獲得相同的排名，”多布林說。但是即使如此，現(xiàn)實(shí)世界的結(jié)果也可能有所不同。

3.使用全面的相關(guān)數(shù)據(jù)

使用事務(wù)系統(tǒng)的開發(fā)人員知道錯誤數(shù)據(jù)的定義：郵政編碼字段中的四位數(shù)是個問題。在機(jī)器學(xué)習(xí)中，區(qū)別并不那么明顯。

實(shí)際上，機(jī)器學(xué)習(xí)算法對“臟”數(shù)據(jù)具有更高的容忍度，因?yàn)樗鼈兛梢噪S著時間的推移學(xué)會識別并丟棄它。Actian Corp產(chǎn)品營銷總監(jiān)Pradeep Bhanot表示：“數(shù)據(jù)質(zhì)量隨著您學(xué)習(xí)的次數(shù)而提高。”

與強(qiáng)調(diào)縮小數(shù)據(jù)和匯總數(shù)據(jù)的傳統(tǒng)數(shù)據(jù)清理相反，機(jī)器學(xué)習(xí)算法在處理大量原始信息和迭代改進(jìn)方法時效果最佳。“更大的樣本量和更多的迭代可以為您提供更高的準(zhǔn)確性，” Bhanot說。

因?yàn)闄C(jī)器學(xué)習(xí)是概率性的，所以輸出更像是判斷，而不是絕對答案。模型擁有的數(shù)據(jù)越多，結(jié)果應(yīng)該越好，并且不必對數(shù)據(jù)進(jìn)行清理和規(guī)范化以達(dá)到事務(wù)處理的程度。

MapR的Dunning說：“傳統(tǒng)的假設(shè)是數(shù)據(jù)質(zhì)量必須是完美的，而如果您有一個學(xué)習(xí)系統(tǒng)，那是不正確的。” “很多時候?qū)W習(xí)系統(tǒng)可以學(xué)會補(bǔ)償。” 實(shí)際上，Dunning建議向數(shù)據(jù)中注入一些噪聲，以查看算法是否成功將其濾除。他說：“從短期來看，您將使系統(tǒng)運(yùn)行不佳，但從長期來看，它將變得更好。”

更大的潛在問題在于數(shù)據(jù)不能代表問題的全部領(lǐng)域。大多數(shù)數(shù)據(jù)集有偏差，因此找到全面的訓(xùn)練數(shù)據(jù)是成功的關(guān)鍵因素。

幸運(yùn)的是，公共數(shù)據(jù)集的領(lǐng)域正在增長。谷歌已經(jīng)貢獻(xiàn)了超過60到公共領(lǐng)域，許多人都可以從政府和私人來源。IBM的Watson OpenScale和MapR的Data Science Refinery是確保機(jī)器學(xué)習(xí)部署中數(shù)據(jù)質(zhì)量的新興工具類別的示例

4.了解可能的結(jié)果

機(jī)器學(xué)習(xí)過程的輸出應(yīng)該是有意義的，即使它們是意外的。如果對問題的定義足夠清楚，并且具有領(lǐng)域?qū)I(yè)知識的人員參與了結(jié)果評估，那么結(jié)果應(yīng)該不會令任何人感到驚訝。

這并不意味著模型應(yīng)該告訴您已經(jīng)知道的內(nèi)容。如果驚喜發(fā)掘出新的見解，那就很好。訣竅是要在獲得顯而易見的結(jié)果與極其不可能的結(jié)果之間找到平衡。

“當(dāng)您得到與您的直覺相符的結(jié)果時，是否正確?” 帕西問。“與此同時，如果結(jié)果違反直覺，這是否會使它們天生錯誤?”

專家說，至關(guān)重要的是讓專家參與測試過程來設(shè)定對合理結(jié)果的期望。Indico的Wilde說：“設(shè)想在此過程結(jié)束時取得什么樣的成功，然后倒退，而不是通過收集大量數(shù)據(jù)來尋找有趣的東西。”

還建議將重點(diǎn)放在解決方案集有限的小問題上，同時要記住，機(jī)器學(xué)習(xí)比發(fā)明新過程更適合于尋找改善現(xiàn)有過程的方法。王爾德說：“如果您無法定義所需的狀態(tài)，請不要指望AI為您做到這一點(diǎn)。”

但是公司還應(yīng)該選擇具有改進(jìn)潛力的問題，以使該模型不會僅僅增強(qiáng)現(xiàn)有知識。Passi說：“如果系統(tǒng)與腸道感覺完全匹配，那么它就毫無用處，就好像傳遞完全相反的感覺一樣。”

用于訓(xùn)練算法的數(shù)據(jù)應(yīng)與期望的結(jié)果相關(guān)，但不應(yīng)嚴(yán)格限制以至于不會出現(xiàn)開箱即用的解決方案。Dunning說：“您需要將訓(xùn)練數(shù)據(jù)與您知道和不知道的東西混合在一起。” “探索數(shù)據(jù)的灰色區(qū)域可以使模型更好。”

人類也需要保持循環(huán)，以避免相關(guān)性和因果關(guān)系之間的混淆。兩個變量似乎與結(jié)果相關(guān)聯(lián)的事實(shí)并不意味著它們會影響結(jié)果。冰淇淋的銷售量與溺水死亡的頻率相關(guān)，但這并不意味著冰淇淋會導(dǎo)致溺水。一個更可能的因果因素是夏天。

算法并不總是能夠分辨出差異，因此需要人工監(jiān)督來發(fā)現(xiàn)沒有意義的假設(shè)。Google的“負(fù)責(zé)任的AI實(shí)踐”代碼建議：“經(jīng)過訓(xùn)練以檢測相關(guān)性的模型不應(yīng)用于進(jìn)行因果推理。”

5.注意隱藏的偏見

亞馬遜候選人篩選和執(zhí)法風(fēng)險評估應(yīng)用程序的失敗在于人們沒有預(yù)料到的偏見。由于幾乎沒有數(shù)據(jù)集能夠真正代表現(xiàn)實(shí)世界，而且偏差的來源可能很微妙，因此很難準(zhǔn)確地確定這些偏差所在的位置。

IBM的Dobrin涉及一家金融服務(wù)公司的示例，該公司的住房抵押貸款候選人評估應(yīng)用程序無意中將種族因素納入了方程式，因?yàn)榕嘤?xùn)數(shù)據(jù)中包含郵政編碼。盡管沒有在源數(shù)據(jù)中記錄種族，但該算法得知某些郵政編碼的候選人的抵押貸款風(fēng)險更高，因此開始更頻繁地拒絕其申請。他說：“因?yàn)樵摴静涣私怆[藏的偏見，所以他們無法預(yù)測這種情況會發(fā)生。”

所有人類都有偏見，但也有控制它們的機(jī)制。電腦至少還沒有這樣的防護(hù)欄，這意味著可以放大有偏見的數(shù)據(jù)的結(jié)果。Dunning說：“使您能夠在社會中發(fā)揮作用的相同機(jī)制可能會導(dǎo)致可怕的頑固行為。”

重復(fù)測試和驗(yàn)證是核心防御措施。偏差傾向于隨時間推移進(jìn)入模型，這意味著必須根據(jù)一組實(shí)際的輸出對算法進(jìn)行持續(xù)監(jiān)控。Riek說：“您需要一套有限的輸出和故障信號。” “您不能產(chǎn)生細(xì)微差別的輸出。”

但是有時候偏見是必要的，這就是數(shù)據(jù)科學(xué)家及其業(yè)務(wù)方面的同事的利益可能發(fā)生沖突的地方。機(jī)器學(xué)習(xí)算法擅長于找到最佳解決方案，但是無論是出于合規(guī)性，法律辯護(hù)還是利他主義的目的，最佳并不總是最佳的。例如，在考慮應(yīng)聘者或抵押申請人時，企業(yè)可能希望偏愛某些性別或種族的候選人。

在這些情況下，業(yè)務(wù)目標(biāo)需要勝過算法?？▋?nèi)基·梅隆大學(xué)哲學(xué)與心理學(xué)教授戴維·丹克斯(David Danks)表示：“您有很多人了解道德和社會影響，但不了解AI，而AI中的很多人都不了解道德和社會影響。”大學(xué)。“編寫代碼的人不必是倫理學(xué)家，但是他們需要能夠與倫理學(xué)家對話。”

Danks認(rèn)為，創(chuàng)建機(jī)器學(xué)習(xí)模型的任務(wù)通常留給數(shù)據(jù)科學(xué)家，而無需業(yè)務(wù)利益相關(guān)者的前期參與，而這些利益相關(guān)者必須依靠他們的模型結(jié)果。數(shù)據(jù)科學(xué)家傾向于統(tǒng)計學(xué)上的完美，但這并不總是令人滿意的。他說：“您可以擁有一個在統(tǒng)計學(xué)上沒有偏見的模型，在道德上并非沒有偏見。”

合作需要從頭開始。維爾德說：“在業(yè)務(wù)人員介入之前，太多的AI項(xiàng)目走得太遠(yuǎn)了。” “一旦發(fā)生這種情況，要使項(xiàng)目重回正軌可能會非常困難。”

信任問題

我們與計算機(jī)的關(guān)系由信任定義。多年的經(jīng)驗(yàn)告訴我們，如果輸入相同的信息，程序?qū)⑹冀K產(chǎn)生相同的結(jié)果。機(jī)器學(xué)習(xí)挑戰(zhàn)了這些假設(shè)。

輸出可能會根據(jù)推理模型中的排列而有所不同。結(jié)果通過概率限定。源數(shù)據(jù)中的遺漏會造成意外的偏差。相關(guān)可能被誤解為因果關(guān)系。

如果可以理解這些限制，那就沒關(guān)系。專家建議，在智能機(jī)器時代，透明度比以往任何時候都更為重要。CMU的Danks說：“可解釋的AI是如何獲得可信賴的AI。”

另一個難題是信任是情景性的。教導(dǎo)自動駕駛汽車避免撞到行人的機(jī)器模型需要100%正確的時間。電子商務(wù)網(wǎng)站上的推薦引擎更容易出錯。

關(guān)鍵是要了解如何做出決定，以及做出正確決定的可能性。目前，人是這個方程式中的必要因素。在過去的幾年中，關(guān)于使人類過時的智能機(jī)器的所有討論，今天的技術(shù)僅與人類定義的參數(shù)一樣好。

麻省理工學(xué)院AI實(shí)驗(yàn)室前負(fù)責(zé)人和iRobot Corp.聯(lián)合創(chuàng)始人羅德尼·布魯克斯(Rodney Brooks)在最近在Medium上發(fā)表的一次采訪中說：“在人工智能中存在聰明，思考，令人縱容的生物的想法是完全，完全，完全科幻。“在這一點(diǎn)上，我們沒有任何意圖。”

但是對于如今機(jī)器學(xué)習(xí)解決的許多問題，這已經(jīng)足夠了。