2022年，ChatGPT和Stable diffusion標(biāo)志著AIGC技術(shù)的爆發(fā)。一般來(lái)說(shuō)，技術(shù)驅(qū)動(dòng)的經(jīng)濟(jì)模式發(fā)展要經(jīng)歷五個(gè)階段：即產(chǎn)生、爆發(fā)（資本/資源介入的發(fā)展）、平穩(wěn)、成熟和類(lèi)要素階段。在平穩(wěn)和成熟階段，不用考慮技術(shù)細(xì)節(jié)僅靠經(jīng)濟(jì)規(guī)律宏觀分析就能夠發(fā)現(xiàn)價(jià)值看到趨勢(shì)；但在產(chǎn)生和爆發(fā)階段，我們不能忽略對(duì)技術(shù)細(xì)節(jié)的了解，而且需要結(jié)合技術(shù)特征和經(jīng)濟(jì)規(guī)律才能把握變化、抓住機(jī)遇、找到穿越未來(lái)的方向，如同在火勢(shì)剛開(kāi)始時(shí)了解它的引燃原因從而精準(zhǔn)采取方案一般。本文結(jié)合ChatGPT的訓(xùn)練原理與新知識(shí)經(jīng)濟(jì)理論來(lái)解釋?zhuān)簽槭裁凑f(shuō)ChatGPT乃至AIGC已經(jīng)突破了數(shù)字經(jīng)濟(jì)而過(guò)度到了新知識(shí)經(jīng)濟(jì)。

實(shí)際上迄今為止OpenAI并沒(méi)有公開(kāi)相關(guān)ChatGPT的完整技術(shù)細(xì)節(jié)，相關(guān)ChatGPT技術(shù)原理都是從ChatGPT“出生證明”介紹上獲得的。注意：本文不是技術(shù)文章，對(duì)具體的技術(shù)原理感興趣的朋友可以參考筆者或其他作者相關(guān)的《人工智能》《深度學(xué)習(xí)》等教材或者慕課視頻；但這里我們需要了解ChatGPT訓(xùn)練方法的思想是什么？因?yàn)檫@可以幫助我們進(jìn)一步了解知識(shí)經(jīng)濟(jì)中要素的地位、變化從而確定未來(lái)的方向。

在這段話里，OpenAI闡述ChatGPT有這個(gè)幾個(gè)特點(diǎn)（它們很重要，后面有涉及）:

ChatGPT類(lèi)似于InstructGPT（sibling model），這意味著可以從公開(kāi)的InstructGPT分析ChatGPT；

ChatGPT通過(guò)交互對(duì)話方式訓(xùn)練的；

ChatGPT能夠回答問(wèn)題、承認(rèn)并糾正錯(cuò)誤且能夠拒絕不適當(dāng)?shù)幕卮鸬龋芰Γ?/p>

這張出生證很短，但是它給了ChatGPT一個(gè)清晰的畫(huà)像：OpenAI試圖提供給一個(gè)人們高效率的、可信的、有能力的人工智能助手。

實(shí)際上這三個(gè)描述恰好決定了“產(chǎn)生ChatGPT”的方式，或者說(shuō)ChatGPT技術(shù)原理與此有關(guān)。作為一個(gè)注釋?zhuān)嚎尚湃斯ぶ悄苁且粋€(gè)人工智能的發(fā)展方向，特別是當(dāng)人工智能進(jìn)入到一些關(guān)鍵性領(lǐng)域，例如金融、醫(yī)學(xué)和軍事中。我們的《中國(guó)金融科技創(chuàng)新發(fā)展指數(shù)報(bào)告》中提出，人工智能與金融的融合分為三個(gè)階段，在進(jìn)入到產(chǎn)能階段后需要邁過(guò)兩個(gè)門(mén)檻，一個(gè)是可解釋門(mén)檻，一個(gè)是可信門(mén)檻。

從ChatGPT的原理圖可以看到，其整體分為三個(gè)步驟，這三個(gè)步驟恰好是為了“雕琢出“需要的能力和畫(huà)像。

第一步（Step1）是監(jiān)督學(xué)習(xí)構(gòu)建能力基礎(chǔ)，重點(diǎn)是泛數(shù)據(jù)的價(jià)值和第一類(lèi)知識(shí)價(jià)值模式。我們知道：有了數(shù)據(jù)，監(jiān)督學(xué)習(xí)是構(gòu)建能力的好方法，注意模仿學(xué)習(xí)也是可以考慮的。一些學(xué)者認(rèn)為這是數(shù)字經(jīng)濟(jì)中重要的數(shù)據(jù)要素價(jià)值產(chǎn)生的典型方式，這樣理解雖然沒(méi)有問(wèn)題，但卻是因?yàn)椴涣私饧夹g(shù)細(xì)節(jié)而忽略的更本質(zhì)的東西：第一有質(zhì)量的數(shù)據(jù)需要龐大的成本，傳統(tǒng)思維的數(shù)據(jù)價(jià)值實(shí)現(xiàn)方式有邊際天花板，這形成了新的數(shù)據(jù)價(jià)值階段，從監(jiān)督過(guò)度到無(wú)監(jiān)督，從專(zhuān)業(yè)數(shù)據(jù)過(guò)度到泛數(shù)據(jù)，這是知識(shí)經(jīng)濟(jì)理論的必然結(jié)果，ChatGPT以及大語(yǔ)言模型乃至AIGC必然的路徑，這里的技術(shù)細(xì)節(jié)是ChatGPT乃至問(wèn)答模式其實(shí)是一個(gè)“接龍“，是輸入一系列輸入token后預(yù)測(cè)后面的token，所以用監(jiān)督學(xué)習(xí)通過(guò)獲得條件概率來(lái)獲得，類(lèi)似于輸入法，泛數(shù)據(jù)實(shí)際上解決了標(biāo)注問(wèn)題（能力問(wèn)題），但要注意沒(méi)有解決可信問(wèn)題，因?yàn)榛卮鸬膖oken（注意是一個(gè)接一個(gè)預(yù)測(cè)，這里需要了解一點(diǎn)自然語(yǔ)言處理知識(shí)）是概率分布抽樣得到的，即存在隨機(jī)性，一個(gè)隨機(jī)做事的人，你肯定也不大容易相信；第二點(diǎn)實(shí)際上在現(xiàn)有的數(shù)字經(jīng)濟(jì)框架并不容易發(fā)現(xiàn)，需要拓展到知識(shí)經(jīng)濟(jì)，那就是第一類(lèi)知識(shí)價(jià)值模式，ChatGPT中的P本來(lái)就含有預(yù)訓(xùn)練的意思，預(yù)訓(xùn)練技術(shù)Finetune是深度學(xué)習(xí)爆發(fā)的導(dǎo)火索，這顯然是第一類(lèi)價(jià)值模式，即知識(shí)的直接遷移和同水平組合（SLC）。需要看到的是，類(lèi)似的構(gòu)造能力的方式將會(huì)產(chǎn)生更多的方法，并在未來(lái)新的場(chǎng)景中產(chǎn)生新的應(yīng)用。這一步獲得的是放飛自我的小白。

第二步（step2）收集比較數(shù)據(jù)并訓(xùn)練獎(jiǎng)勵(lì)模型，這是構(gòu)建可信能力的基礎(chǔ)，其本質(zhì)上是第三類(lèi)知識(shí)經(jīng)濟(jì)價(jià)值模式。粗看這一塊和許多傳統(tǒng)語(yǔ)言模型不同，但實(shí)際上這個(gè)在2017的公開(kāi)論文中就有了（即基于偏好的模式），按照InstructGPT中原理介紹，對(duì)于同樣問(wèn)題前面獲得的放飛自我的大白會(huì)生成的ABCD共4個(gè)回答（生成多少都可以，為什么？），參與的人（專(zhuān)家）會(huì)給出ABCD四個(gè)答案的排序，而實(shí)際上ChatGPT是每次抽兩個(gè)構(gòu)建評(píng)分（大的是1，小的是0），這樣可以構(gòu)建6個(gè)評(píng)分結(jié)果（C(4,2)）。這樣構(gòu)建的獎(jiǎng)勵(lì)模型實(shí)際上可以看作可信監(jiān)督員，我們就稱(chēng)為監(jiān)管機(jī)關(guān)還是監(jiān)管員。

第三步（step3）強(qiáng)化學(xué)習(xí)架構(gòu)實(shí)現(xiàn)固本強(qiáng)基，固定可信能力基礎(chǔ)提升效率，這里涉及到第二類(lèi)知識(shí)價(jià)值模式。其實(shí)這個(gè)與傳統(tǒng)強(qiáng)化學(xué)習(xí)有些差異，強(qiáng)化學(xué)習(xí)本質(zhì)上環(huán)境是獎(jiǎng)勵(lì)的載體，這里是用了第二步的獎(jiǎng)勵(lì)模型就不用考慮環(huán)境了，可以看到其實(shí)是介于強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)之間，該思路也是17年的論文就有人提出了。其實(shí)這里需要看Instruct論文才能夠看到更重要的細(xì)節(jié)，即這里的獎(jiǎng)勵(lì)不僅僅是第二步的獎(jiǎng)勵(lì)模型，還包括了KL散度以避免與GPT3.5產(chǎn)生過(guò)大的差距，可以理解為除了監(jiān)管機(jī)關(guān)還有法律這個(gè)準(zhǔn)繩，所以結(jié)果是可信的。因?yàn)樗鼛в?ldquo;可信”價(jià)值導(dǎo)向和資源可篩選機(jī)制，所以這是典型的第二類(lèi)知識(shí)經(jīng)濟(jì)價(jià)值模式的體現(xiàn)。

深度學(xué)習(xí)剛興起時(shí)，以監(jiān)督學(xué)習(xí)為代表的訓(xùn)練方法促使了“標(biāo)注”行業(yè)的誕生，大量的數(shù)據(jù)標(biāo)注公司比人工智能企業(yè)更早獲得了技術(shù)的第一桶金；而當(dāng)數(shù)據(jù)要素化并逐漸稱(chēng)為基礎(chǔ)設(shè)施的過(guò)程中，以ChatGPT為代表的AIGC所依賴的訓(xùn)練方法具有“泛數(shù)據(jù)、非監(jiān)督、可信目標(biāo)、通用能力”的特點(diǎn)，其本質(zhì)從最初的數(shù)據(jù)要素三重價(jià)值逐漸轉(zhuǎn)化到新知識(shí)經(jīng)濟(jì)的三重價(jià)值，強(qiáng)人工智能的道路上，經(jīng)濟(jì)模式也由數(shù)字經(jīng)濟(jì)轉(zhuǎn)化到知識(shí)經(jīng)濟(jì)。

【參考文章】：

Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).

Radford, Alec, et al. "Improving language understanding by generative pre-training." (2018).

Ouyang, Long, et al. "Training language models to follow instructions with human feedback." arXiv preprint arXiv:2203.02155 (2022).

Chen, Mark, et al. "Evaluating large language models trained on code." arXiv preprint arXiv:2107.03374 (2021).

Neelakantan, Arvind, et al. "Text and code embeddings by contrastive pre-training." arXiv preprint arXiv:2201.10005 (2022).

Brown, Tom, et al. "Language models are few-shot learners." Advances in neural information processing systems 33 (2020): 1877-1901.

（作者系中央財(cái)經(jīng)大學(xué)金融學(xué)院教授、博士生導(dǎo)師，中央財(cái)經(jīng)大學(xué)中國(guó)金融科技研究中心主任，家族辦公室合作與發(fā)展組織理事會(huì)主席兼首席經(jīng)濟(jì)學(xué)家）