從生成式AI走向智能體，從預訓練走向推理，從信息智能走向物理智能和生物智能，AI技術在迅速迭代的同時也帶來了更多的安全和治理問題。

在博鰲亞洲論壇2025年年會上，與會專家圍繞技術應用與風險平衡、倫理規(guī)范、國際合作等方向展開了深度討論。有觀點認為，過度嚴格的治理措施可能會抑制創(chuàng)新，使企業(yè)和研究機構在開發(fā)AI技術時受到過多限制，影響技術的發(fā)展速度和應用效果。但也有專家認為，如果只注重創(chuàng)新而忽視治理，可能導致更大的技術失控。

“比起‘黑天鵝’事件，我們更要避免‘灰犀牛’事件的發(fā)生。”博鰲期間，一位參會代表對第一財經記者表示，黑天鵝事件，因其難以預料只能盡力應對，但灰犀牛事件不同，大家清楚存在的風險，所以應該竭盡全力將灰犀牛事件發(fā)生及爆發(fā)的可能性降至最低，此時共建一個透明、可理解、可信的、負責任的AI生態(tài)尤為重要。

AI中的認知漏洞

“AI時代最大的安全漏洞是認知漏洞，如何平衡治理與創(chuàng)新，如何在全社會形成共識，是比技術更根本的挑戰(zhàn)。”vivo首席安全官魯京輝在博鰲期間對記者表示，AI時代的安全已從“Security”轉向“Safety”，不僅要防攻擊，更要考慮倫理影響和社會系統(tǒng)性風險，如虛假內容、深度偽造、惡意引導等新型威脅。

在他看來，當前，業(yè)界正從技術、管理、倫理等維度，努力讓基于大模型的通用人工智能變得更具可解釋性。然而這一工作極為復雜，原因在于技術持續(xù)演進變化巨大，而這些變化背后潛藏著諸多不確定的風險因素。

“盡管我們有將風險置于可控框架內運作的大致概念，但挑戰(zhàn)在于它不僅涉及技術層面，更關鍵的是認知層面的問題。這需要全社會共同參與，包括人工智能及生成式人工智能的研究者、開發(fā)者、政策制定者，乃至最終用戶大家必須形成共識，只有通過這種共識機制，才能切實保障人工智能系統(tǒng)健康、透明、負責任地發(fā)展。”魯京輝對記者說。

在博鰲的一場分論壇中，中國科學院自動化研究所研究員曾毅也談到了類似觀點。他表示，AI的倫理安全應該成為技術發(fā)展的基因，確保其與人類價值觀保持一致。他建議，將倫理安全融入AI開發(fā)的底層設計，并視為“第一性原則”，不可刪除、不可違背。

圖片來源：第一財經攝影記者吳軍

“有責任地發(fā)展人工智能，意味著人類開發(fā)者和部署者需要承擔責任。飛機、高鐵都能無人駕駛，但駕駛員仍在崗位。人工智能高速發(fā)展，但人類始終應該做自己和AI的守護者。”曾毅對記者表示，智能體的安全問題，一定要讓決策權力掌握在人類手中。

在中國工程院院士、清華大學智能產業(yè)研究院院長張亞勤看來，就可能存在的風險而言，設定AI技術紅線與邊界是關鍵。

“AI風險可以分解為可信度與可控性兩個層面。前者要求AI在執(zhí)行任務時遵循人類期望、倫理規(guī)范和國家法律，不產生誤導性、有害或不公平的結果，后者則確保人類能有效監(jiān)控、干預和糾正AI行為，避免失控或不可預測的后果。”張亞勤說。

值得一提的是，為了規(guī)范人工智能生成合成內容標識，今年3月14日，國家網信辦、工信部、公安部、國家廣電總局聯(lián)合發(fā)布《人工智能生成合成內容標識辦法》，要求對生成合成內容添加顯式標識，并規(guī)范生成合成內容傳播活動，自9月1日起施行。

藏在“冰山下”的風險

如何做到應用與治理的平衡推進，讓數(shù)據(jù)不再裸奔？目前產業(yè)、學界、監(jiān)管各方仍有不同的答案。不過對于與會嘉賓來說，多方協(xié)作、動態(tài)治理、倫理優(yōu)先、技術透明是共識所在。

但在產業(yè)實踐之中，各行各業(yè)所面臨的AI問題并不相同。以手機行業(yè)為例，伴隨AI智能體“接管”手機屏幕，數(shù)據(jù)安全和隱私保護問題正變得更加復雜。

“比如，AI智能體打破了原有操作系統(tǒng)技術架構，產生了新交互方式和行為，這涉及到權限管理和數(shù)據(jù)流轉的根本性變革，需要重新定義技術基線。”魯京輝對記者表示，作為商業(yè)企業(yè)，既會重視技術的商業(yè)價值，但也會堅守底線與紅線思維，投入資源從內部多維度構建AI安全治理體系的同時，也對外參與行業(yè)標準制定，通過行業(yè)聯(lián)盟達成AI治理的效果。

在他看來，手機廠商在AI治理與安全方面，從實施層面有兩個維度，分別是數(shù)據(jù)生命周期和業(yè)務生命周期。在數(shù)據(jù)生命周期，要保證數(shù)據(jù)高質量，防止低質量或惡意數(shù)據(jù)污染大模型，確保數(shù)據(jù)安全。而從業(yè)務生命周期，大模型本身要考慮算法安全性，防范訓練中的惡意攻擊，部署時兼顧傳統(tǒng)與AI業(yè)務防護手段，干預大模型不可解釋性及AI幻覺問題。

“其實核心的底線就是要做好數(shù)據(jù)安全和隱私保護，但是坦白說，這個保護是冰山下的，很多是看不到的，風險來自于外部環(huán)境的變化，我們盡量把灰犀牛的事件發(fā)生可能性降到最低，內部組織上也會設立專門的攻防團隊來在各個業(yè)務部門做部署。”魯京輝說。

不過，正因為智能體的廣泛運用，這種“未知的、藏在冰山下”的AI風險在張亞勤看來正在快速提升。

“風險至少上升一倍。”張亞勤認為，智能體具有自我規(guī)劃、學習、試點并達到自己目的的能力，是強大的技術工具，但在其運行過程中，里面有很多未知的因素，中間路徑不可控。智能算法并不完全是黑盒子，但是很多東西并不清楚機理，所以帶來很大風險。一種是可控風險，一種是被壞人所利用的風險。因此，使用智能體的時候需要做一些標準，比如限制智能體自我復制，以降低失控風險。

針對通過制定標準能否解決人工智能的安全性問題，魯京輝表示，安全性問題不能簡單地通過制定法律或規(guī)則解決，全球對“安全性”定義也尚未統(tǒng)一。

“歐洲重合規(guī)，美國重發(fā)展，中國求平衡，到底哪一種是標準答案，還需要實踐來證明。”在他看來，安全沒有標準答案，但企業(yè)必須有標準動作，企業(yè)需要一種更動態(tài)的、更敏捷地平衡于發(fā)展和安全之間的新的治理模式，既不做保守的防守者，也不做野蠻的開拓者。