分享到微信打開微信,點擊底部的“發(fā)現(xiàn)”, |
近日,韓國出現(xiàn)多起利用AI換臉偽造女性色情露骨圖像的犯罪案,在這背后,犯罪者用深度偽造技術(Deepfake)合成色情照片和視頻,并在通信軟件Telegram的群聊中傳播,參與者多達22萬人,引發(fā)韓國民眾恐慌。
韓國女性在包括微博在內(nèi)的全球各大社交平臺上發(fā)帖求助,這一話題也在近兩日登上多個微博熱搜,有人將其稱之為韓國又一“N號房”丑聞。
深度偽造的核心原理是利用深度學習算法將目標對象的面部“嫁接”到被模仿對象上,隨著AI技術的進步,這一技術工具越來越普遍,門檻變低,容易被有心者利用進行數(shù)字犯罪。不僅在韓國,在國內(nèi)以及全球都有發(fā)生,涉及性犯罪以及金融詐騙等領域。
深度偽造犯罪頻發(fā)
今年5月,韓國當?shù)孛襟w報道,首爾大學畢業(yè)生樸某和姜某,從2021年7月至2024年4月的3年多里,盜用女性同學、熟人的照片,用深度偽造技術換臉合成色情制品,在Telegram上建立了近200個網(wǎng)絡聊天室進行傳播,警方稱,樸某共參與制作、傳播約1700份非法照片和視頻,受害女性多達61人。
樸某和姜某先后于今年4月和5月被逮捕,但這件事只是深度偽造性犯罪在韓國泛濫的冰山一角。
最近一周,韓國警方發(fā)現(xiàn)了大量與學校、醫(yī)院、軍隊有關的疑似分享淫穢影像的社交媒體群組,這些群組里的淫穢影像經(jīng)深度偽造換臉而制成。涉及的群組參與人數(shù)不等,少的幾百上千人,多的有十萬人以上,總計參與用戶多達22萬人(包含可能重復的情況)。受害女性包括學生、教師、軍人等,甚至有不少未成年人。
韓國婦女人權研究所公布了一組數(shù)據(jù):從今年1月1日到上周日,共有781名深度偽造受害者在線求助,其中288名(36.9%)是未成年人。據(jù)韓國教師聯(lián)盟估計,目前已有超過200所學校受到影響。
隨著輿論在各大社交媒體上發(fā)酵,韓國政府也出面作出表態(tài)。韓國總統(tǒng)尹錫悅表示,惡意利用深度偽造技術是犯罪行為,希望有關部門通過掌握實際情況和調(diào)查,徹底根除此類數(shù)字技術犯罪。
據(jù)了解,韓國警方已成立特別工作組,8月28日起,會專門對深度偽造性犯罪等虛假視頻案件展開為期7個月的專項行動。警方統(tǒng)計顯示,韓國今年前7個月共有297宗深偽色情罪案,較去年全年的180宗更高。
實際上,深度偽造這一技術犯罪,不僅僅出現(xiàn)在韓國,這兩年在全球都有出現(xiàn)。
在國內(nèi),今年6月,“男子用AI偽造學生同事近7000張裸照”沖上微博熱搜。據(jù)央視新聞消息,犯罪嫌疑人白某某是一家互聯(lián)網(wǎng)公司的技術員,他用AI“一鍵去衣”技術,深度偽造淫穢圖片近7000張,再每張1.5元賣出,賺了將近一萬元。圖片涉及女性人數(shù)多,包括學生、教師、同事。目前白某某已被提起公訴。
北京市海淀區(qū)人民檢察院檢察官助理郭樹正表示,白某某用的這款人工智能軟件,能很快對被害人的圖片“一鍵去衣”,基本上幾秒鐘、幾分鐘就能批量生成相應的圖片。
針對這一案件,檢察機關認為,被告人白某某以牟利為目的,制作、販賣淫穢物品,情節(jié)嚴重,其行為觸犯了《中華人民共和國刑法》的相關規(guī)定,應當以制作、販賣淫穢物品牟利罪追究其刑事責任。
今年1月,美國著名歌手泰勒·斯威夫特(Taylor Swift)也成為了AI深度偽造的受害者,大量由AI生成的泰勒不雅照在各大社交平臺瘋轉,瀏覽量過千萬,引發(fā)公眾關注。
此外,在8月份,埃隆·馬斯克(Elon Musk)也因AI偽造技術卷入了一場詐騙事件。82歲的退休老人史蒂夫·比徹姆(Steve Beauchamp)在網(wǎng)上看到了一段聲稱由馬斯克親自承諾收益的投資視頻,隨后他聯(lián)系了視頻背后的推銷公司,并投資了超過69萬美元。隨后,這些錢就落入了詐騙犯之手。
據(jù)悉,這些詐騙者篡改了一段馬斯克的真實采訪,利用AI技術替換了他的聲音,并微調(diào)了他的口型,以匹配他們?yōu)檫@個數(shù)字人編寫的新劇本。對于一般觀眾來說,這種操作幾乎察覺不出。
監(jiān)管跟進
Sensity是監(jiān)測和檢測深度偽造視頻的公司,根據(jù)該機構發(fā)布的數(shù)據(jù)顯示,在2000多起深度偽造案件中,馬斯克的形象出現(xiàn)了近四分之一的案件,成為AI詐騙案中最常見的代言人之一。深度造假廣告還常常使用沃倫·巴菲特(Warren Buffett)這樣的著名投資者和亞馬遜創(chuàng)始人杰夫·貝索斯(Jeff Bezos)等商界大佬這樣的形象。
近幾個月來,互聯(lián)網(wǎng)上充斥著數(shù)以千計的這種由AI驅(qū)動的視頻,據(jù)德勤估計,這類由AI支持的深度造假每年可能導致數(shù)十億美元的欺詐損失。這些視頻制作成本極低,幾分鐘內(nèi)即可完成,并通過社交媒體進行推廣。
深度偽造最初源自英語中新興的組合詞Deepfake,是計算機的深度學習(Deeplearning)與偽造(fake)的融合,通俗來說,深度偽造將圖片和聲音輸入機器學習的算法,進而能進行面部操作,即把一個人的臉部輪廓與表情放在其他任何人的臉上,同時憑借對聲音的逼真處理,締造出實際上為合成但看起來極其真實的視頻。
多數(shù)的深度偽造均依賴于深度學習技術生成式對抗網(wǎng)絡(GAN),這種技術通過兩個相互競爭的神經(jīng)網(wǎng)絡——生成器和判別器來訓練數(shù)據(jù),最終生成難以區(qū)分真?zhèn)蔚臄?shù)據(jù)內(nèi)容。GAN生成器負責創(chuàng)建虛假數(shù)據(jù),而判別器則對其進行鑒別。兩者不斷迭代優(yōu)化,直至生成器能夠制造出足以欺騙判別器的高仿真數(shù)據(jù)。
從應用工具角度來看,市面上已經(jīng)有若干成熟的深度偽造應用工具。例如,換臉應用可以將一個人的臉部置換到另一個人的身體上;重新投射技術允許面部的運動和表情映射到目標用戶上;口型同步工具可以復制口部動作并結合音頻生成,創(chuàng)造出看似真實的說話視頻。這些工具的普及降低了技術使用門檻,使得普通個體也能創(chuàng)作出深度偽造內(nèi)容。
鑒于深度偽造技術的潛在風險,各國政府和研究機構已經(jīng)開始采取應對措施。如美國和歐盟已經(jīng)出臺了相關政策和法規(guī),旨在加強對深度偽造內(nèi)容的監(jiān)管和處罰。同時,研究人員正在開發(fā)檢測深度偽造內(nèi)容的新技術,以期在復雜多變的虛假信息環(huán)境中保護公眾免受欺騙。
我國已有相應法律手段應對這一問題。根據(jù)2023年1月10日起施行的《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》,任何組織和個人不得利用深度合成服務制作、發(fā)布或傳播法律、行政法規(guī)禁止的信息。
2024年7月23日,美國參議院通過了《2024年打擊精準偽造圖像和未經(jīng)同意編輯法案》(Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024,DEFIANCE Act),允許私密數(shù)字偽造內(nèi)容的受害人向惡意制作或傳播的人尋求民事賠償。
根據(jù)這一法案,一般情形的損害原告可獲得的賠償額為15萬美元,如果被告對原告實施或企圖實施性侵犯、跟蹤或騷擾等行為;或者涉案私密數(shù)字偽造內(nèi)容成為任何人對原告實施或企圖實施性侵犯、跟蹤或騷擾的直接和近因,賠償則為25萬美元。
監(jiān)管之外,大型平臺也已經(jīng)開始重視這一問題。今年8月,谷歌宣布,將采取措施避免色情深度偽造內(nèi)容出現(xiàn)在搜索結果中。谷歌表示,將簡化受害者請求移除非自愿色情圖像的流程,并且會過濾掉相關搜索的所有色情結果,還會刪除重復的圖像。
外交部亞洲司司長劉勁松就共同打擊跨境電詐犯罪做泰國、緬甸駐華大使工作
各大平臺押注的搜索,是下一個流量風口嗎?
公安機關將持續(xù)保持對跨境電信網(wǎng)絡詐騙犯罪的嚴打高壓態(tài)勢,特別是對緬甸妙瓦底等新的詐騙窩點聚集區(qū)。
這是一場會后“無待辦”大型腦爆。
使用通義靈碼AI程序員,一名程序員僅需10分鐘就能完成整個開發(fā)過程,大幅提升業(yè)務開發(fā)效率。