近日，安徽合肥官方對(duì)外披露對(duì)合肥三只羊網(wǎng)絡(luò)科技有限公司（簡稱“三只羊”）直播帶貨中存在問題的調(diào)查結(jié)果，以及對(duì)“三只羊”錄音門事件的調(diào)查結(jié)果。

合肥市公安局高新分局發(fā)布警情通報(bào)稱，2024年9月20日，該局接三只羊公司報(bào)警稱，網(wǎng)上傳播涉盧某某的音視頻不實(shí)，嚴(yán)重侵害其合法權(quán)益。

在市局刑警支隊(duì)指導(dǎo)下，經(jīng)過偵查，9月22日晚，合肥市公安局高新分局將犯罪嫌疑人王某某（男，25歲）抓獲，并在其電腦、手機(jī)和制作AI音頻的網(wǎng)站中發(fā)現(xiàn)偽造相關(guān)音視頻的證據(jù)；結(jié)合其供述、調(diào)查取證，并經(jīng)部、省專業(yè)機(jī)構(gòu)檢驗(yàn)鑒定，認(rèn)定報(bào)案所涉網(wǎng)傳音視頻系偽造。

伴隨AI技術(shù)的發(fā)展，音頻、視頻等內(nèi)容領(lǐng)域均發(fā)生過AI偽造事件，除了此次“三只羊”錄音門，此前韓國發(fā)生“韓國N號(hào)房2.0”事件，通過Deepfake換臉合成色情照片和視頻，并在通信軟件上私密傳播。在瑞萊智慧算法科學(xué)家陳鵬看來，AI技術(shù)的發(fā)展使AI換臉，包括多媒體編輯技術(shù)發(fā)展到普通人唾手可得的地步。但通過法律法規(guī)監(jiān)管、平臺(tái)內(nèi)容治理、產(chǎn)業(yè)界提供技術(shù)和工具等多方綜合治理，對(duì)風(fēng)險(xiǎn)情況將會(huì)有所緩和。

官方確認(rèn)“三只羊”錄音門系A(chǔ)I偽造

此前抖音頭部主播小楊哥（張慶楊）與“三只羊”公司因直播間產(chǎn)品問題引發(fā)爭議，網(wǎng)絡(luò)端傳出一段“三只羊”公司高管盧文慶的錄音內(nèi)容，事涉多位“三只羊”高層及頭部主播。隨后“三只羊”方面表示錄音為AI合成偽造，已報(bào)警。

據(jù)合肥市公安局高新分局發(fā)布警情通報(bào)，2024年9月20日，該局接三只羊公司報(bào)警稱，網(wǎng)上傳播涉盧某某的音視頻不實(shí)，嚴(yán)重侵害其合法權(quán)益。在市局刑警支隊(duì)指導(dǎo)下，經(jīng)過偵查，9月22日晚，合肥市公安局高新分局將犯罪嫌疑人王某某（男，25歲）抓獲，認(rèn)定報(bào)案所涉網(wǎng)傳音視頻系偽造。

現(xiàn)已查明，9月16日，王某某利用從互聯(lián)網(wǎng)下載的音視頻資料，杜撰盧某某酒后言論腳本，先使用AI工具訓(xùn)練生成假冒盧某某的音頻（其中出現(xiàn)的女聲也系A(chǔ)I工具訓(xùn)練生成），后用視頻軟件合成音視頻，并通過網(wǎng)絡(luò)發(fā)布，形成謠言大量傳播。目前，王某某已被依法采取刑事強(qiáng)制措施，案件正在進(jìn)一步偵辦中。

9月27日，深圳市言域科技有限公司發(fā)布聲明，確認(rèn)9月16日傳播的音視頻資料中音頻部分為嫌疑人使用其自主研發(fā)的Reecho睿聲AI配音大模型平臺(tái)克隆而成。該音頻源自盧某（“三只羊”公司高管）的直播片段。公司已啟動(dòng)內(nèi)部審核機(jī)制，強(qiáng)化用戶身份認(rèn)證和音頻生成的安全管控，以確保技術(shù)的合法合規(guī)應(yīng)用。

天眼查信息顯示，深圳市言域科技有限公司成立于2023年，位于廣東省深圳市，注冊(cè)資本100萬人民幣，由法定代表人謝偉鐸持股92%，暫未對(duì)外披露投融資信息。2024年9月4日，言域科技發(fā)布首條微博，稱“我們是Reecho睿聲，一個(gè)超擬真語音合成與瞬時(shí)克隆平臺(tái)”。目前公司官微粉絲量25人。

言域科技官網(wǎng)信息顯示，Reecho目前支持中文以及英文，用戶可以自由混合使用這兩種語言來進(jìn)行聲音克隆與合成。預(yù)計(jì)將在下個(gè)版本新增支持日語，且可能新增支持韓語。該模型由自研文生語音大模型驅(qū)動(dòng)，預(yù)先經(jīng)過百萬小時(shí)級(jí)的大量音頻數(shù)據(jù)訓(xùn)練，擁有了零樣本模仿能力，僅需3-30秒?yún)⒖家纛l即可在多數(shù)情況下模仿并合成音頻結(jié)果。針對(duì)需求量較少的情況已提供公用API端點(diǎn)，僅需購買任意點(diǎn)數(shù)包即可接入使用。

AI偽造事件頻發(fā)

行業(yè)內(nèi)，AI偽造音視頻事件早已發(fā)生多起。

2024年年初，一家跨國公司香港分公司員工參加了一次視頻會(huì)議，與會(huì)者都是經(jīng)過AI 換臉與AI 換聲的詐騙分子，最終公司被騙走2500萬美元。今年年中，韓國出現(xiàn)多起利用AI換臉偽造女性色情露骨圖像的犯罪案，犯罪者用深度偽造技術(shù)（Deepfake）合成色情照片和視頻，并在通信軟件Telegram的群聊中傳播，參與者多達(dá)22萬人。

韓國當(dāng)?shù)孛襟w報(bào)道，首爾大學(xué)畢業(yè)生樸某和姜某，從2021年7月至2024年4月的3年多里，盜用女性同學(xué)、熟人的照片，用深度偽造技術(shù)換臉合成色情制品，在Telegram上建立了近200個(gè)網(wǎng)絡(luò)聊天室進(jìn)行傳播，警方稱，樸某共參與制作、傳播約1700份非法照片和視頻，受害女性多達(dá)61人。

今年6月，“男子用AI偽造學(xué)生同事近7000張裸照”沖上微博熱搜。據(jù)央視新聞消息，犯罪嫌疑人白某某是一家國內(nèi)互聯(lián)網(wǎng)公司的技術(shù)員，通過AI“一鍵去衣”技術(shù)，深度偽造淫穢圖片近7000張，每張1.5元賣出，賺取近一萬元。圖片涉及女性人數(shù)多，包括學(xué)生、教師、同事。目前白某某已被提起公訴。

北京市海淀區(qū)人民檢察院檢察官助理郭樹正表示，白某某用的這款人工智能軟件對(duì)被害人圖片“一鍵去衣”，幾秒鐘、幾分鐘就能批量生成相應(yīng)的圖片。針對(duì)這一案件，檢察機(jī)關(guān)認(rèn)為，被告人白某某以牟利為目的，制作、販賣淫穢物品，情節(jié)嚴(yán)重，其行為觸犯了《中華人民共和國刑法》的相關(guān)規(guī)定，應(yīng)當(dāng)以制作、販賣淫穢物品牟利罪追究其刑事責(zé)任。

通過生成式AI 模型合成或偽造逼真的內(nèi)容，包括文字、圖像、音頻、視頻等形式，都可以稱為 Deepfake。對(duì)于AI音頻合成，陳鵬表示，之前的技術(shù)水平還需要捕捉幾分鐘、幾十分鐘的語音聲紋信息進(jìn)行偽造，但現(xiàn)在只需半分鐘、幾十秒就能捕捉個(gè)大概，幾個(gè)騷擾電話甚至就能造成用戶聲音泄漏。但要想更精準(zhǔn)地進(jìn)行克隆、復(fù)制音調(diào)與說話風(fēng)格等，則需要更多的語料。

Deepfake技術(shù)的迅速發(fā)展在陳鵬看來主要有三方面原因：一是文生圖、文生視頻等生成式 AI 技術(shù)有了突破；二是算力逐漸普及，消費(fèi)級(jí)顯卡能夠運(yùn)行生成式 AI 模型；三是Deepfake技術(shù)已經(jīng)被優(yōu)化成門檻更低的工具，如Github的DeepFaceLive 和 Deep-Live-Cam等開源項(xiàng)目，用戶可以從網(wǎng)站下載代碼，在本地配置運(yùn)行環(huán)境。目前也有成熟的商業(yè)公司以 SDK（開發(fā)工具包）或 API（應(yīng)用編程接口）的方式提供Deepfake技術(shù)服務(wù)，用戶甚至不需要一臺(tái)帶顯卡的設(shè)備部署程序，將音頻等內(nèi)容上傳到網(wǎng)站便可下載生成內(nèi)容。

應(yīng)對(duì)AI偽造風(fēng)險(xiǎn)，陳鵬表示AI 鑒偽主要有兩條技術(shù)路線：主動(dòng)式防御與被動(dòng)式檢測(cè)。前者如在圖片中嵌入一些視覺上不可感知的噪聲，后者如主動(dòng)下載使用具備鑒偽功能的 AI 產(chǎn)品，包括生成式AI內(nèi)容檢測(cè)平臺(tái)DeepReal、人臉AI安全防火墻RealGuard 等。

多方整治AI時(shí)代信任危機(jī)

對(duì)于AI 偽造和鑒偽，陳鵬認(rèn)為，Deepfake對(duì)抗性太強(qiáng)，防范需要長期投入，如通過法律法規(guī)監(jiān)管、平臺(tái)進(jìn)行內(nèi)容治理、產(chǎn)業(yè)界提供技術(shù)和工具等。

9月14日，國家互聯(lián)網(wǎng)信息辦公室發(fā)布《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法（征求意見稿）》（簡稱《意見稿》），在《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等法律法規(guī)上，進(jìn)一步細(xì)化了AI合成內(nèi)容的標(biāo)識(shí)辦法。

北京師范大學(xué)法學(xué)院副教授、中國互聯(lián)網(wǎng)協(xié)會(huì)研究中心副主任吳沈括表示，“這是全球范圍內(nèi)第一部關(guān)于人工智能生成合成內(nèi)容標(biāo)識(shí)的國家標(biāo)準(zhǔn)，是關(guān)于人工智能內(nèi)容治理機(jī)制建設(shè)的重要探索，對(duì)人工智能內(nèi)容產(chǎn)業(yè)的有序發(fā)展和業(yè)務(wù)規(guī)則具有重要的指引意義，也有助于人工智能良性生態(tài)的培育。”

2024年7月23日，美國參議院通過了《2024年打擊精準(zhǔn)偽造圖像和未經(jīng)同意編輯法案》（Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024，DEFIANCE Act），允許私密數(shù)字偽造內(nèi)容的受害人向惡意制作或傳播的人尋求民事賠償。

政策之外，企業(yè)方也在積極預(yù)防，今年2月，OpenAI 團(tuán)隊(duì)推出“AI 生成內(nèi)容識(shí)別器”，旨在識(shí)別文本是由電腦自動(dòng)生成還是人類撰寫，其本質(zhì)上是一個(gè)區(qū)別真實(shí)內(nèi)容和 AI 生成內(nèi)容的分類器。不過，OpenAI 在博客中指出，此識(shí)別器對(duì) AI 撰寫內(nèi)容的檢出成功率僅為 26%。

今年5 月，谷歌在 Google I/O 大會(huì)上公布了AI 生成圖像識(shí)別工具，用戶可以通過上傳來源不明的圖片、執(zhí)行反向圖片搜索，了解到這張圖片被谷歌初次收錄的時(shí)間、最早出現(xiàn)的網(wǎng)站。谷歌還宣布，它自己的生成式AI工具將在每張圖片中包含元數(shù)據(jù)、嵌入水印，以表明這是 AI 生成的圖像，而不是真實(shí)照片。相比AI 生成內(nèi)容識(shí)別器，數(shù)字水印被認(rèn)為可能是更有效的方法。

更早前，微軟在Build 2023開發(fā)者大會(huì)上，宣布增加一項(xiàng)功能，讓任何人都能識(shí)別Bing Image Creator和Microsoft Designer生成的圖像或視頻片段是否是由AI生成的。該技術(shù)使用密碼學(xué)方法對(duì)AI生成的內(nèi)容進(jìn)行標(biāo)記和簽名，并附上有關(guān)其來源的元數(shù)據(jù)信息。

奇安信安全專家田平對(duì)第一財(cái)經(jīng)記者表示，AI詐騙是傳統(tǒng)的詐騙手法利用了新技術(shù)的一種混合詐騙方式，從詐騙劇本來說還是傳統(tǒng)的冒充熟人、冒充領(lǐng)導(dǎo)等手段，但其中的面部仿真、聲紋仿真使得被害人放松警惕，更容易被騙。

從預(yù)防角度來說，田平提醒民眾需要確保如下三點(diǎn)：第一，不要點(diǎn)擊任何不熟悉人員發(fā)來的任何未知網(wǎng)址，下載不明來路的APP，規(guī)避掉中木馬的風(fēng)險(xiǎn)來保證個(gè)人信息機(jī)密以及手機(jī)等設(shè)備的安全受控；第二，個(gè)人信息會(huì)通過多重渠道造成泄露，所以在涉及資金轉(zhuǎn)賬等高風(fēng)險(xiǎn)行為時(shí)，需要主動(dòng)多方式去確認(rèn)對(duì)方身份，例如通過電話回?fù)埽瑴贤ㄖ性儐柦谝娒鏁r(shí)間地點(diǎn)等內(nèi)容；第三，社會(huì)各界也應(yīng)當(dāng)積極遵從2022年底實(shí)施的《反詐法》各條例，對(duì)聊天工具、轉(zhuǎn)賬雙方的身份加以強(qiáng)管理和確認(rèn)，對(duì)于高風(fēng)險(xiǎn)行為采取審慎允許的態(tài)度防止詐騙行為的發(fā)生。

記者劉曉潔對(duì)本文亦有貢獻(xiàn)