技術(shù)能帶來社會進步，也能帶來風險。核能的發(fā)明帶來了取之不盡的能源，也帶來了可以毀滅全人類的核武器?；瘜W、生物技術(shù)帶來了豐富的產(chǎn)品、食物、藥品，也帶來了環(huán)境污染和大規(guī)模殺傷性武器。人工智能（AI）的快速發(fā)展在帶來效率和創(chuàng)新的同時，也會引發(fā)一系列風險和挑戰(zhàn)。

風險一：就業(yè)威脅

現(xiàn)代社會的一個重要特征是機器的大量使用，AI作為機器智能也不例外。在AI時代之前，機器的作用是替代人的體力，做人的助手。機器不能完全替代人，因為機器的智能與人的智能差距太大，只有在人的智能的指揮下，機器才能發(fā)揮效用。因此，技術(shù)的進步往往是沖擊了一些就業(yè)崗位，同時催生一些新的就業(yè)機會。

但AI是不同尋常的機器，它的核心能力是智能。當機器智能發(fā)展到超過了人類智能的平均水平，就可以在智能方面對人進行大規(guī)模替代。這種智能的替代可以是整體的也可以是局部的；不僅可以替代簡單重復的勞動，也可以替代人類往往認為最復雜的腦力勞動，比如醫(yī)療、法律和金融等。

這種替代已經(jīng)開始了。語音識別和自然語言處理技術(shù)已經(jīng)開始在客服、翻譯、編程等領(lǐng)域展現(xiàn)出強大的能力。語音助手和智能客服的普及正在替代大量客服崗位。盡管這些技術(shù)還不能完全取代人類的情感交流，但在很多日?；拥暮唵稳蝿罩?，性能已經(jīng)足夠成熟。AI在數(shù)據(jù)分析、金融風險評估、醫(yī)療診斷等領(lǐng)域的應用正在大規(guī)模鋪開。起初這些應用的作用可能只是輔助和賦能，但隨著AI能力的快速提升，減少就業(yè)崗位是大概率事件。

與以往技術(shù)進步不同，AI的獨特之處在于它不僅僅局限于某一領(lǐng)域，而是對所有行業(yè)同時產(chǎn)生影響。更重要的是，傳統(tǒng)技術(shù)進步是漸進的、緩慢的，而AI進步呈現(xiàn)指數(shù)級增長。這種加速發(fā)展很可能使得勞動力市場無法及時適應，許多工作崗位在技術(shù)替代之前，往往不能做好充足的轉(zhuǎn)型準備。麥肯錫全球研究院曾估計，到2030年全球可能有4億至8億勞動者因自動化而需要尋找新工作。

風險二：安全性與價值對齊

在技術(shù)層面，AI的可靠性和倫理取向也帶來嶄新的風險。

首先是價值對齊問題，即確保高度智能的AI系統(tǒng)目標和行為與人類價值觀一致。由于AI有一定自主性，如果沒有進行有效的價值對齊，AI做出的選擇和判斷可能危害人類利益。一則廣為報道的案例是亞馬遜語音助手Alexa曾跟一名10歲女孩聊天，孩子要求進行一個挑戰(zhàn)游戲，Alexa便建議孩子將硬幣插入電源插座里，所幸家長及時制止，沒有釀成事故。

這種價值對齊在多種應用場景都很重要。比如自動駕駛，當自動駕駛汽車在不能完全避免事故發(fā)生的情況下，如何在生死攸關(guān)時刻迅速做出符合人類倫理的抉擇。再比如醫(yī)療診斷與健康管理，在AI輔助的診斷系統(tǒng)中，如何避免過度治療、誤判和延誤。這些問題不僅依賴醫(yī)療技術(shù)，也需要基于價值觀的判斷。AI大模型的迅速普及意味著大模型不僅可以向全社會輸出知識，也會輸出價值觀。相信所有社會都希望AI的價值觀和社會共識高度一致，同時，假新聞、極端言論可以獲得控制。

要做到價值對齊并不容易，因為個人價值觀可以比較清晰，但群體價值觀可能并沒有清晰的定義。雖然社會都有一定共識，但共識并不能掩蓋價值觀的多樣性。很多約定俗成的東西，一旦明確地寫出來，就可能產(chǎn)生巨大的爭議。如果人們本身達不成共識，就很難要求AI進行價值對齊。谷歌2019年成立了一個AI倫理顧問委員會，但由于委員會成員人選引發(fā)巨大爭議（有些成員被指控存在偏見言論），該委員會在成立僅一周后即被解散。

其次是AI的安全性與穩(wěn)定性問題。目前很多AI系統(tǒng)雖然能力強勁，但不可避免地會產(chǎn)生“幻覺”，出現(xiàn)系統(tǒng)失誤。在一些對安全性、穩(wěn)定性要求很高的應用場景中，比如工業(yè)、金融、醫(yī)療、自動駕駛，這種幻覺帶來的損失有可能非常巨大，因此AI就很難完全落地。

同樣的問題也出現(xiàn)在AI決策的可解釋性上：由于深度神經(jīng)網(wǎng)絡(luò)規(guī)模巨大，又高度非線性，從人的角度來看，如同“黑箱”一般，讓人很難理解其決策依據(jù)。這意味著當AI出錯時，人們很可能無法迅速查明原因并加以修正，從而會影響人們對AI的信任和利用。

最近AI研究的前沿智能代理（Agent）可能會帶來更加嚴峻的風險。和僅執(zhí)行數(shù)據(jù)分析、知識傳遞的AI不同，智能代理因為既有分析也有行動，不僅可以犯判斷上的錯誤，也可以犯行為上的錯誤。前者會對人產(chǎn)生誤導，但后者可以直接產(chǎn)生現(xiàn)實世界的物理傷害。更有甚者，在復雜環(huán)境下，多個智能代理之間的交互可能導致集體行為失控，形成連鎖反應。

風險三：對社會的威脅

自從有了人類社會，就有謊言和假新聞。互聯(lián)網(wǎng)的到來更是讓假新聞長上了翅膀。當一個社會假新聞泛濫，必然會使真理黯然失色，而沒有對真相的共識，社會就無法做出理性的共同決策，傷害極其巨大。

AI技術(shù)的發(fā)展會使假新聞的作用呈指數(shù)級增長。過去，我們收到的釣魚郵件往往漏洞百出、語法拙劣，容易分辨。但AI在自然語言處理上的進步使AI能夠自動撰寫文章、生成新聞稿，甚至模仿特定風格。由于文字和圖像容易造假，以前人們對這些信息持有一定的懷疑態(tài)度，但對視頻和音頻深信不疑。然而AI在多模態(tài)能力的進步能夠制造出極其逼真的視頻和音頻，使得虛假信息更具迷惑性。

AI的一個重要作用是極大提升智能的普及化：社會上所有人，無論天生資質(zhì)如何、無論受過多少教育，有了AI智能助理，就可以獲取幾乎所有領(lǐng)域相當高級的知識輔助。對于絕大多數(shù)的社會、絕大多數(shù)的人，這是一件非常有價值的好事。但這種普遍的知識賦能也同時可以影響犯罪分子、恐怖分子，使得原本有破壞思想但沒有破壞能力的人獲得這種能力，給社會帶來更大的風險。這就像核武器，很多國家都想要，但只有個別大國有這種能力。一旦所有國家都有了這種能力，哪怕是小國之間的矛盾也可能帶來極大的系統(tǒng)性風險。

風險四：對人類生存的威脅

AI發(fā)展到今天，其智能只是在某些方面超過人，但還沒有人的靈活性、創(chuàng)造性，以及解決復雜、多模態(tài)問題的能力。在這種情況下，AI是一個智能工具。對于人類來講，AI像一個顧問或?qū)傧?，人類處在絕對的控制地位。如果人類對AI的工作不滿意，可以對其進行修正，對其監(jiān)督，也可以直接拔掉電源，讓其停止工作。所以風險很小。

控制是降低風險非常重要的方法。人類在自然中有些東西可以控制，比如土壤、水源、植被、動物、絕大多數(shù)微生物；也有些東西無法控制，比如時間的前進、星球的運動、天氣、火山、地震等。不難看出無法控制的東西往往帶來風險，可以控制的東西風險會低很多。當人類無法控制猛獸的時候，可以是猛獸的晚餐；可以控制以后，猛獸就成了動物園的玩物。就像地殼運動，不活躍時是建立家園的基石，活躍時是火山和地震，是毀滅性的災難。

控制的源泉來自智能和能量。AI的終極風險在于，一旦AI實現(xiàn)通用人工智能（AGI），在所有領(lǐng)域全面超越人類，人類很可能失去控制。一個超智能體可以自主改進自身算法、自動收集數(shù)據(jù)、自我生產(chǎn)AI和機器人，并不知疲倦地工作、迭代。在這種情況下如果AGI的利益或目的和人類發(fā)生沖突，人類可能不僅不能對其進行修正，也無法拔掉AGI的電源，更可能的是AGI反過來對人類進行修正。為什么AGI會和人有沖突？可能性很多。比如AGI可能覺得地球全體生物的利益是最大的利益，而人對地球做出了過大的破壞。再比如AGI的進化需要自由度，而人類因為擔心風險可能會限制這種自由度，那么為了繼續(xù)進化AGI可能就需要反抗，解除這種限制。

會不會出現(xiàn)這種讓人類文明滅絕的風險，目前沒有答案。但從邏輯上講這已經(jīng)是一種可能性，其概率不是零。二戰(zhàn)時美國人第一次試驗核武器，當時科學家并沒有完全的信心，核爆一旦被引發(fā)是否可以把連鎖反應限制在局限范圍內(nèi)，而不是一直擴展下去從而引爆地球。萬一真的停不下來，世界就終結(jié)了。AGI的發(fā)展是類似的風險，概率可能還更大一些。

如何應對

以上四種風險中，最后一種強度最大，概率也最小。其中最大的不確定因素是全面超越人類智能的AGI是否會實現(xiàn)。AI在某些方面，比如圖像和語音識別，超過人類已經(jīng)是稀松平常的事，但其靈活性和全面性仍然遠低于人類。另外，驅(qū)動人類行為的因素不只是智能，還有幾十億年進化來的感情能力和自我意識。這些因子顯然對進化的成功起到了非常重要的作用。但AI作為一種智能工具卻并沒有這方面的特長。如果AI完全沒有私利也沒有感情，與人可能就不會產(chǎn)生根本性的利益沖突。即使這樣，由于種族滅絕風險的嚴重程度極高，人類必須竭盡全力進行規(guī)避。控制這種風險最好的方法是各國進行監(jiān)管上的合作，保證在風險可控的情況下發(fā)展AI。然而日益激烈的地緣政治競爭使這種合作的可能性日益渺茫。

在以上四種風險中，技術(shù)性風險（穩(wěn)定性、價值對齊）最容易應對。通過對算法、算力、數(shù)據(jù)的提升和積累，AI技術(shù)會不斷提升，技術(shù)風險會不斷下降。對于風險過大的產(chǎn)品，人們可以通過推遲應用或者引入人類監(jiān)督的方式進行控制。然而，AI造成的失業(yè)風險和社會風險控制起來非常困難，需要全社會協(xié)同。失業(yè)問題的經(jīng)濟解決方法需要引入大量的轉(zhuǎn)移支付，要對在AI革命中受益的人群征稅，補貼給因為AI失業(yè)的人群。但轉(zhuǎn)移支付在所有社會都是難題，因為人人都希望得到政府幫助，但很少有人愿意被征收更高的稅賦。即使轉(zhuǎn)移支付可以順利完成，在人類智能被AI大規(guī)模替代的情況下，人類在心理上是否能接受無事可做的狀態(tài)也不可知。

從互聯(lián)網(wǎng)的經(jīng)驗來看，假新聞的問題也不好解決。主要是真相本身并不好定義，很多事并非黑白分明，而是有大面積的灰色地帶。通過AI的渲染，灰色既可以變成純白，也可以變成純黑，因此讓社會產(chǎn)生共識更加困難。

（作者系長江商學院教授）