隨著人工智能（AI）大模型火爆全網(wǎng)，內(nèi)容生成形態(tài)已然發(fā)生了顛覆性的變革，一些挑戰(zhàn)與風(fēng)險也隨之而來。

一份由頭豹研究院2月26日發(fā)布的《從DeepSeek現(xiàn)象到信息治理革命：共建數(shù)字時代清朗空間》（下稱《報告》）微報告稱，“AI技術(shù)進(jìn)步在提升生產(chǎn)效率的同時，也帶來了信息過載嚴(yán)重、模型偏見加劇、邏輯自證陷阱等風(fēng)險”。通俗來講，一旦媒體、券商、咨詢機(jī)構(gòu)等使用AI大模型生成了虛假或錯誤內(nèi)容，不但會嚴(yán)重削弱公眾對結(jié)果真實(shí)性的信任，還會引發(fā)資本市場波動，并且低成本的內(nèi)容生成模式已對數(shù)據(jù)中心、芯片廠商等傳統(tǒng)產(chǎn)業(yè)鏈產(chǎn)生沖擊。

事實(shí)上，中央網(wǎng)信辦也在近期發(fā)布了2025年“清朗”系列專項(xiàng)行動整治重點(diǎn)并明確提出，要“整治‘自媒體’發(fā)布不實(shí)信息、整治AI技術(shù)濫用亂象”。那么，政府、企業(yè)、公眾等各方主體正在面對的AI大模型“幻覺”問題應(yīng)如何解決？

直面“幻覺”

《報告》中提到的“信息過載嚴(yán)重”，在于AI大模型會將各種來源和立場的內(nèi)容混雜在一起，而公眾難以在海量信息中迅速辨別信息的權(quán)威與否和真?zhèn)巍?/p>

此外，AI大模型會出現(xiàn)“模型偏見加劇”，即由于訓(xùn)練過程中的潛在偏見和錯誤被放大所導(dǎo)致生成內(nèi)容出現(xiàn)事實(shí)偏差和歪曲，如生成女性圖片形象時傾向于輸出過度性感化的效果，或?qū)⒛承┞殬I(yè)與特定性別高度關(guān)聯(lián)。而“邏輯自證陷阱”則指AI大模型能通過看似嚴(yán)謹(jǐn)?shù)恼撟C構(gòu)建出看似合理的內(nèi)容結(jié)果。

《報告》撰寫方、頭豹聯(lián)合創(chuàng)始人兼總裁王晨暉告訴記者，AI大模型一旦生成了虛假或錯誤內(nèi)容，會對“內(nèi)容生態(tài)”以及公眾產(chǎn)生一系列嚴(yán)重影響?，F(xiàn)有的內(nèi)容生態(tài)包括傳統(tǒng)的媒體和新聞機(jī)構(gòu)（如報紙、電視臺、網(wǎng)站等），券商、研究咨詢機(jī)構(gòu)、投行等，以及自媒體、網(wǎng)民個人和利用AI技術(shù)生成和傳播內(nèi)容的各類平臺和個人。錯誤和虛假內(nèi)容的泛濫會破壞整個信息生態(tài)的健康發(fā)展。

如何應(yīng)對？為此，王晨暉建議，首先在內(nèi)容生產(chǎn)階段，內(nèi)容創(chuàng)作必須依賴專業(yè)團(tuán)隊(duì)或具備高度專業(yè)性的機(jī)構(gòu)進(jìn)行嚴(yán)格把關(guān)，確保內(nèi)容的專業(yè)性、準(zhǔn)確性和可靠性。特別是在資本市場、公共健康、法律法規(guī)等領(lǐng)域，內(nèi)容的準(zhǔn)確性至關(guān)重要，避免任何不合格的信息流入互聯(lián)網(wǎng)生態(tài)，導(dǎo)致誤導(dǎo)性傳播。

其次，內(nèi)容發(fā)布平臺需建立完善的溯源審查機(jī)制，確保每一條信息都能追溯到其源頭，尤其對于AI生成內(nèi)容（AIGC），要建立系統(tǒng)化的真實(shí)性和時效性審查標(biāo)準(zhǔn)。這一標(biāo)準(zhǔn)應(yīng)覆蓋從創(chuàng)作、編輯、審核到發(fā)布的每一個環(huán)節(jié)，并對內(nèi)容的來源進(jìn)行嚴(yán)格核查，確保信息的真實(shí)性、無偏性和合法合規(guī)性。

此外，在內(nèi)容流入市場后，若虛假信息依然存在，網(wǎng)安公司與AI搜索引擎平臺需加強(qiáng)合作，建立強(qiáng)有力的防火墻和知識庫。通過AI技術(shù)與人工審核相結(jié)合，對信息進(jìn)行實(shí)時監(jiān)控、分類和過濾，確保最終傳遞給用戶的是經(jīng)過驗(yàn)證、具有高價值的信息。

在中國數(shù)實(shí)融合50人論壇副秘書長胡麒牧看來，雖然AI大模型之所以會生成虛假或錯誤內(nèi)容與模型訓(xùn)練相關(guān)，但本質(zhì)還是語料輸入的問題。

胡麒牧解釋，一方面，現(xiàn)有的一些通用大模型在進(jìn)行訓(xùn)練時，其輸入的語料并非專業(yè)數(shù)據(jù)而是公共數(shù)據(jù)，這是因?yàn)閷I(yè)數(shù)據(jù)一般都在企業(yè)內(nèi)部形成，屬于企業(yè)的核心競爭力，除非企業(yè)本地化部署AI大模型，不然不會對通用大模型開放。另一方面，一些通用大模型目前通過公域渠道拿到的數(shù)據(jù)里，英文語料比較多，中文語料非常少、有的甚至不足1%。而優(yōu)質(zhì)AI大模型的訓(xùn)練有賴于豐富的優(yōu)質(zhì)語料和算法的迭代。

找到最優(yōu)解

避免AI大模型產(chǎn)生“幻覺”，業(yè)內(nèi)有最優(yōu)解嗎？

上海人工智能研究院算法專家陸文韜告訴記者，為了能有效避免AI大模型生成錯誤結(jié)果、產(chǎn)生“幻覺”，從技術(shù)實(shí)現(xiàn)角度應(yīng)該注意三個方面問題。

第一，確保訓(xùn)練數(shù)據(jù)的高質(zhì)量和多樣性至關(guān)重要。訓(xùn)練數(shù)據(jù)應(yīng)做到標(biāo)注來源、時效性和引用鏈，使用準(zhǔn)確、權(quán)威的數(shù)據(jù)源，避免偏見和錯誤信息的引入。此外，建立行業(yè)共享的“幻覺”黑名單庫，杜絕使用可能會產(chǎn)生“幻覺”的內(nèi)容。

第二，是調(diào)整模型架構(gòu)與訓(xùn)練策略。可以采用“預(yù)訓(xùn)練+強(qiáng)化學(xué)習(xí)+人類反饋”的混合范式，例如通過人工標(biāo)注數(shù)據(jù)迭代獎勵模型（Reward Model），約束生成邊界。對于金融、醫(yī)療等領(lǐng)域，強(qiáng)制調(diào)用監(jiān)管認(rèn)證的知識庫，減少自由生成風(fēng)險。對于高風(fēng)險領(lǐng)域生成內(nèi)容需附加置信度評分與溯源標(biāo)識。

第三，完善實(shí)時監(jiān)控與反饋機(jī)制。在AI大模型部署后，需要建立實(shí)時監(jiān)控系統(tǒng)，檢測并糾正潛在的錯誤輸出，使用多模態(tài)交叉驗(yàn)證（如文本與權(quán)威數(shù)據(jù)庫比對）。通過用戶反饋，不斷完善模型的性能和可靠性，動態(tài)修正模型輸出。

進(jìn)一步來看，如何在不抑制行業(yè)發(fā)展（開放專業(yè)性較強(qiáng)的語料）的同時，也保護(hù)好行業(yè)的核心技術(shù)和數(shù)據(jù)？

胡麒牧表示，行業(yè)、企業(yè)毋庸置疑掌握著優(yōu)質(zhì)語料，但這一方面在于企業(yè)要主動、愿意去訓(xùn)練自己專有的AI大模型，或者通過接入Deepseek等訓(xùn)練AI大模型并提供背后的服務(wù)。另一方面，要讓企業(yè)拿出專業(yè)語料庫，一些數(shù)據(jù)流通和交易機(jī)制（如補(bǔ)償機(jī)制等）必不可少，“要讓企業(yè)認(rèn)為，開放專業(yè)語料庫后，市場給他們所帶來的收益是要遠(yuǎn)大于數(shù)據(jù)公開所帶來的行業(yè)壁壘降低風(fēng)險。”

陸文韜告訴記者，未來，如何平衡語料價值挖掘與技術(shù)秘密保護(hù)之間的關(guān)系是重點(diǎn)，“行業(yè)、企業(yè)需重點(diǎn)關(guān)注數(shù)據(jù)安全技術(shù)與合規(guī)機(jī)制并行推進(jìn)。”

陸文韜表示，數(shù)據(jù)脫敏與加密、可信數(shù)據(jù)生態(tài)構(gòu)建、合規(guī)工具鏈完善等方法都值得行業(yè)、企業(yè)在實(shí)操過程中借鑒。比如，數(shù)據(jù)脫敏與加密方面，企業(yè)可以采用聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)“數(shù)據(jù)可用不可見”，企業(yè)僅共享模型參數(shù)和梯度，確保原始數(shù)據(jù)不外泄等等。

再如，可信數(shù)據(jù)生態(tài)構(gòu)建方面，利用區(qū)塊鏈技術(shù)進(jìn)行語料共享存證，確保數(shù)據(jù)確權(quán)與溯源等。合規(guī)工具鏈完善方面，企業(yè)則可以部署自動敏感信息過濾系統(tǒng)，利用自然語言處理（NER）模型屏蔽敏感數(shù)據(jù)，企業(yè)同時還制定智能合約來約束數(shù)據(jù)的使用范圍。

有效監(jiān)管

上述《報告》稱，隨著信息生態(tài)復(fù)雜度不斷提升，單一的管理和監(jiān)管手段已難以應(yīng)對虛假信息的廣泛傳播。網(wǎng)絡(luò)安全公司可以與AI技術(shù)強(qiáng)強(qiáng)聯(lián)手，構(gòu)建起從語料生成、聯(lián)網(wǎng)引用、知識庫構(gòu)建到最終內(nèi)容輸出的全鏈條監(jiān)控體系。

全鏈條監(jiān)控體系是否可實(shí)現(xiàn)，具體如何做？為此，胡麒牧表示，AI大模型會在接收專業(yè)語料輸入的同時，通過不斷地糾偏、調(diào)整來達(dá)到一個安全“域值”，低于安全“域值”的模型就需要警惕其可能生成虛假或錯誤內(nèi)容。目前，監(jiān)管部門在全流程、全鏈條對AI大模型進(jìn)行監(jiān)控還不太現(xiàn)實(shí)，但可以通過了解或識別安全“域值”來提前預(yù)判可能會產(chǎn)生風(fēng)險。

“不過，盡管了解或識別了安全‘域值’，監(jiān)管部門也無法真正能夠弄清楚哪些語料是真實(shí)的，哪些語料是虛假的。這些領(lǐng)域就涉及了道德風(fēng)險，屬于市場失靈的范疇。”胡麒牧稱，對于存在道德風(fēng)險的語料輸入者，其實(shí)未來也可以通過打標(biāo)簽、人工復(fù)核的方式去處理，“但總的來說，現(xiàn)階段，對于內(nèi)容生態(tài)中的主體，建議可以用AI大模型來生成初稿，再進(jìn)行人工校對和校驗(yàn)是比較穩(wěn)妥的。”

陸文韜則從技術(shù)層面給出建議稱，制度與技術(shù)需要協(xié)同。比如，創(chuàng)建白名單知識庫；在金融、醫(yī)療等領(lǐng)域強(qiáng)制調(diào)用權(quán)威知識庫（如國家藥監(jiān)局?jǐn)?shù)據(jù)庫），確保信息的準(zhǔn)確性和可靠性。再比如，進(jìn)行跨境數(shù)據(jù)審查；對跨境數(shù)據(jù)實(shí)施語義分析與IP溯源審查，攔截可能引發(fā)地緣誤導(dǎo)的信息。

“國際上已有相關(guān)案例供我們參考。歐盟《數(shù)字服務(wù)法案》已要求平臺部署全鏈條監(jiān)控體系，以應(yīng)對虛假信息傳播等問題。Twitter(現(xiàn)為X平臺)也通過生成標(biāo)記+傳播限流的技術(shù)組合，顯著提升了虛假信息的攔截效率。”陸文韜補(bǔ)充。

王晨暉也呼吁，需要跨行業(yè)的協(xié)作，“只有通過這些多層次、全方位的防控機(jī)制，共同構(gòu)建起一個堅固的內(nèi)容監(jiān)管鏈條，從源頭到終端確保內(nèi)容的質(zhì)量和可信度，才能推動AI時代內(nèi)容的普惠化生產(chǎn)，促進(jìn)信息生態(tài)的健康發(fā)展。”