話題“AI 詐騙正在爆發(fā)”沖上熱搜，引發(fā)熱議。

鈦媒體App 5月23日消息，近日，內(nèi)蒙古自治區(qū)包頭市公安局電信網(wǎng)絡(luò)犯罪偵查局發(fā)布一起使用智能AI技術(shù)進行電信詐騙的案件，騙子通過智能AI換臉和擬聲技術(shù)，佯裝好友對福州市某科技公司法人代表郭先生實施了詐騙，10分鐘內(nèi)被騙了430萬元。

5月8日，包頭市公安局電信網(wǎng)絡(luò)犯罪偵查局發(fā)布一起使用智能AI技術(shù)進行電信詐騙的案件，警銀聯(lián)動成功緊急止付涉嫌電信詐騙資金330多萬元。

事件從4月20日說起。

據(jù)平安包頭公眾號所述，20日中午，郭先生的好友突然通過微信視頻聯(lián)系他，自己的朋友在外地競標，需要430萬保證金，且需要公對公賬戶過賬，想要借郭先生公司的賬戶走賬?；趯糜训男湃?，加上已經(jīng)視頻聊天核實了身份，郭先生沒有核實錢款是否到賬，就分兩筆把430萬轉(zhuǎn)到了好友朋友的銀行卡上。郭先生撥打好友電話，才知道被騙。

騙子通過智能AI換臉和擬聲技術(shù)，佯裝好友對他實施了詐騙。“從頭到尾都沒有和我提借錢的事情，就說會先把錢給我打過來，再讓我給他朋友賬戶轉(zhuǎn)過去，而且當(dāng)時是給我打了視頻的，我在視頻中也確認了面孔和聲音，所以才放松了戒備”，郭先生說。

幸運的是，接到報警后，福州、包頭兩地警銀迅速啟動止付機制，在銀行的全力協(xié)助下，僅用時10分鐘，成功止付攔截336.84萬元，但仍有93.16萬元被轉(zhuǎn)移，目前福建警方與包頭警方對此資金正在全力追繳當(dāng)中。

這不只是個案，最近一段時間國內(nèi)外都出現(xiàn)了 AI 詐騙案例，用戶損失慘重。

隨著ChatGPT風(fēng)靡全球，生成式 AI 有望取代更多人類工作，在文字創(chuàng)作、AI繪畫、AI翻譯、AI客服等方面替代人工。但同時，AI 技術(shù)被濫用風(fēng)險加劇，一些犯罪分子盯上了 AI 技術(shù)，實施電信詐騙，讓人防不勝防，同時凸顯了 AI 生成虛假信息所帶來的社會危險。

AI詐騙正在全球蔓延

成功率接近100%

實際上，AI 換臉技術(shù)并非是近期才興起。

早在2017年，一位名為DeepFake網(wǎng)友將情色電影中的女主角換臉成好萊塢明星蓋爾·加朵(Gal Gadot)，這是AI換臉技術(shù)首次出現(xiàn)在公眾視野當(dāng)中。后來由于大量投訴者表示不滿，其賬號被官方封禁，而此后的AI換臉技術(shù)則以他的名字命名為“DeepFake”。

AI 換臉真正在國內(nèi)火起來是在2019年初，一段通過AI技術(shù)將《射雕英雄傳》中黃蓉扮演者朱茵的臉替換為楊冪的視頻在網(wǎng)絡(luò)上熱傳，引發(fā)大家對于 AI 是否會侵犯人的肖像版權(quán)問題。制作者肖先生對此回應(yīng)稱：主要適用于技術(shù)交流，不會用于營利行為。

5月22日晚，“冷門歌手”孫燕姿更新動態(tài)，回應(yīng)“AI孫燕姿”翻唱刷爆全網(wǎng)事件。“我想說，你跟一個每幾分鐘就推出一張新專輯的人還有什么好爭的。人類無法超越它已指日可待。”

AI孫燕姿演唱《可能》

有人通過模型訓(xùn)練和后期處理，讓AI模仿孫燕姿的聲音重新演繹諸多熱門金曲。短短一個多月，“AI孫燕姿”已發(fā)歌近千首，遠超本人職業(yè)生涯的歌曲總和。

如今，AI 技術(shù)已被不法分子盯上，并用于各類層出不窮的換臉花樣。

多地都出現(xiàn)了 AI 詐騙案例，不少普通人被所謂的“私密照片”敲詐勒索。

據(jù)華西都市報此前報道，2022年2月，有位陳先生到浙江溫州市公安局甌海分局仙巖派出所報案稱，自己被“好友”詐騙了近5萬元。經(jīng)警方核實，詐騙分子利用陳先生好友“阿誠”在社交平臺發(fā)布的視頻，截取其面部視頻畫面后再利用“AI換臉”技術(shù)合成，制造陳先生與“好友”視頻聊天的假象騙取其信任，從而實施詐騙。

2021年，浙江溫州公安曾發(fā)布消息稱，受害人小陳在與女網(wǎng)友視頻聊天后被對方敲詐勒索，經(jīng)警方調(diào)查，對方利用AI換臉技術(shù)，將小陳視頻中的面部合成到不雅視頻中，借此對其實施勒索。

2020年，上海某公司高管因?qū)Ψ绞褂肁I換臉與人工生成的語音技術(shù)制作公司領(lǐng)導(dǎo)的面孔，并要該高管轉(zhuǎn)賬，致使該高管被詐騙150萬元。

這類 AI 騙局不止在國內(nèi)發(fā)生。

據(jù)Gizmodo報道，英國最近同樣發(fā)生了一起涉及高達22萬英鎊(約合192.4萬元)的詐騙案件。一位當(dāng)?shù)啬茉垂綜EO在不知情的情況下被騙子“DeepFake”了自己的聲音。隨后，騙子用他這段聲音，電話轉(zhuǎn)賬了22萬英鎊到騙子自己的匈牙利賬戶，后來本人才發(fā)現(xiàn)是一個AI合成語音的騙局。

社交平臺賬戶分享的一張聲稱顯示五角大樓附近發(fā)生爆炸的假圖片

昨天在美國瘋傳的五角大樓爆炸圖，則是最新的 AI 欺騙案例。

美東時間周一(22日)，一張由 AI 生成的五角大樓附近地區(qū)發(fā)生爆炸的圖片在社交網(wǎng)絡(luò)上瘋傳，推文稱五角大樓附近地區(qū)發(fā)生了爆炸，目前最初帖子已被刪除。

多家美媒都報道了這一消息，CNN稱，圖片中建筑物看上去并不像五角大樓。美國國防部發(fā)言人隨后證實，這張在谷歌搜索和推特上瘋傳的圖片是一條“虛假信息”，五角大樓所在的阿靈頓消防和急救部門發(fā)推文成 ：“沒有爆炸或事故”，也沒有“對公眾造成直接危險或危害”。

福布斯新聞網(wǎng)稱，該圖片的來源尚未確定，但這可能是 AI 生成非常逼真的“深度偽造”圖像。報道指，盡管五角大樓爆炸從未發(fā)生，五角大樓爆炸圖卻依然瘋傳，凸顯了 AI 生成虛假信息所帶來的危險。

據(jù)湖北網(wǎng)警巡查執(zhí)法5月6日消息，AI技術(shù)改變詐騙，新騙局來襲后，詐騙成功率竟接近100%。

如何防范AI詐騙?

目前，AI詐騙常用手法主要包括聲音合成(騙子通過騷擾電話錄音等來提取某人聲音，獲取素材后進行聲音合成再做騙局)，AI換臉，轉(zhuǎn)發(fā)微信語音，AI程序篩選受害人(例如實施金融詐騙時，可以篩選出經(jīng)常搜索投資理財信息的人群)等。

那么，AI 詐騙這種“高科技”手法已經(jīng)在社會產(chǎn)生了不良影響，我們該如何防范?

國內(nèi) AI 安全公司瑞萊智慧聯(lián)合創(chuàng)始人、算法科學(xué)家蕭子豪對鈦媒體App表示，如果遇到這類疑似AI換臉詐騙的情況，可以在視頻時有意識地引導(dǎo)對方做一些動作，如大幅度的搖頭或張嘴;如果騙子技術(shù)手段較弱，那么有可能發(fā)現(xiàn)對方面部邊緣或者牙齒的瑕疵，從而識別出AI換臉;如果疑似是聲音偽造，可以試一下與對方用方言交流;此外還可以追問幾個只有你與好友之間才知道的私密信息，來核實對方身份。

“在防止自己上當(dāng)受騙的同時，還要注意保護好個人圖像，盡量避免在公開平臺大量曬自己的照片和視頻，給不法分子提供便利。因為深偽制作的原材料是個人音頻、圖片、視頻，這些數(shù)據(jù)越多，訓(xùn)練出的視頻也就越逼真、越難以鑒別。”蕭子豪表示。

警方則提醒，對于新型詐騙方式有以下三種防范措施：

如果有人要求你分享個人身份信息，如你的地址、出生日期或名字要小心，對突如其來的電話保持警惕，即使是來自你認識的人，因為來電顯示的號碼可能是偽造的，多重驗證，確認身份;

不輕易提供人臉、指紋等個人生物信息給他人，不過度公開或分享動圖、視頻等，陌生鏈接不要點，陌生軟件不要下載，陌生好友不要隨便加，防止手機、電腦中病毒，微信、QQ等被盜號，保護信息，避免誘惑;

提高安全防范意識，如不慎被騙或遇可疑情形，請注意保護證據(jù)立即撥打96110報警。

事實上，隨著 AI 技術(shù)加速變革同時，營造創(chuàng)新生態(tài)、重視防范風(fēng)險，正在成為整體 AI 技術(shù)行業(yè)亟待解決的關(guān)鍵性問題。

據(jù)清華大學(xué)人工智能研究院等部門發(fā)布的《深度合成十大趨勢報告(2022)》顯示，創(chuàng)作者在互聯(lián)網(wǎng)平臺中發(fā)布的深度合成內(nèi)容的數(shù)最星高速增長，以視頻為例，2021年新發(fā)布的深度合成視頻的數(shù)量，較2017年已增長10倍以上。

在第七屆世界智能大會上，中國科學(xué)院院士管曉宏認為，安全性如果得不到保證，AI 系統(tǒng)的應(yīng)用將會受到極大的挑戰(zhàn)。中國汽車技術(shù)研究中心有限公司董事長安鐵成也表示，網(wǎng)絡(luò)和數(shù)據(jù)安全的風(fēng)險日益成為影響產(chǎn)業(yè)發(fā)展和國際安全的重要因素。

5月17日，OpenAI CEO山姆·阿爾特(12.210, -0.29, -2.32%)曼(Sam Altman)出席美國國會聽證會，并在聽證會上大聲呼吁世界應(yīng)該要設(shè)立可以規(guī)范和監(jiān)管AI 的獨立機構(gòu)。最新消息是，5月23日，OpenAI聯(lián)合創(chuàng)始人們再度呼吁，AI 的創(chuàng)新步伐太快，世界需要一個類似管理核能的國際監(jiān)管機構(gòu)來管理 AI 的發(fā)展。

蕭子豪告訴鈦媒體App，和其他通用目的技術(shù)一樣，AI 也具有“雙刃劍”效應(yīng)，兼具建設(shè)性和破壞性，面臨著“科林格里奇困境”，而大模型的安全問題應(yīng)該從底層技術(shù)來研究解決，主要的應(yīng)對方式包括安全評估、風(fēng)險緩解等，通過 AI 安全平臺RealSafe等產(chǎn)品幫助人類明晰真?zhèn)蔚倪吔纭?/p>

蕭子豪強調(diào)，隨著 AI 技術(shù)的發(fā)展，其自身的安全問題會越來越重要，需要監(jiān)管部門、AI廠商和公眾的共同努力。從長遠來看，AI 的安全問題還應(yīng)從模型算法的原理上來突破。