同時讀“控制論之父”諾伯特·維納的《人有人的用處》和“現(xiàn)代計算機之父”馮·諾伊曼的《計算機與人腦》，還是很有意思的。這兩位都深度參與了二戰(zhàn)期間的盟軍軍方項目以及早期現(xiàn)代計算機的研制，應該頗有淵源。前者的手稿寫于1955年，后者初版于1949年，經(jīng)過相當大改寫的新版則出版于1954年?？梢钥吹?，到1950年代中期，一種基于統(tǒng)計概率、偶然性/不完備性以及數(shù)字化信息中介的世界觀已經(jīng)完全確立起來了，只不過要讓至今生活在牛頓的確定性宇宙幻覺中的人們接受，還很難——快70年過去了，這兩本小冊子不可謂不暢銷，但對普通人的“常識”的改變依然微乎其微。

實際上，這兩個天賦異稟之人的確有很重要的交集。維納比馮·諾伊曼大9歲，晚死7年，基本上屬于同代人，但是神童出身的維納出道很早，11歲讀大學，19歲成為博士，21歲已經(jīng)在哈佛任教，而當時的馮·諾伊曼還只是奧匈帝國一個因一戰(zhàn)爆發(fā)而不得不輟學的大學預科生。所以維納算得上是馮·諾伊曼的半個師長。

馮·諾伊曼移居美國后，維納先是想把當時在普林斯頓的他挖去麻省理工當數(shù)學系主任，后又在1944年召集了美國研究電子計算和相關技術領域的頂級數(shù)學家以及人工神經(jīng)元網(wǎng)絡計算的主要理論家在普林斯頓開研討會，并向與會的馮·諾伊曼推薦了麥卡洛克-皮茨模型——這個模型可以看作是第一代神經(jīng)網(wǎng)絡模型，今天已成為機器深度學習歷史上的里程碑，而模型名稱中的“皮茨”，即年輕的天才數(shù)學家沃爾特·皮茨，當時正是維納的博士生。馮·諾伊曼旋即在1945年發(fā)表了奠定現(xiàn)代計算機理論基礎和沿用至今的“馮·諾伊曼體系結構”的劃時代報告《EDVAC報告書的第一份草案》（First Draft of a Report on the EDVAC），其中唯一引用的一篇公開發(fā)表的論文，就是麥卡洛克和皮茨合作的那篇當初并未引起反響的《神經(jīng)活動中思想內(nèi)在性的邏輯演算》（A Logical Calculus of Ideas Immanent in Nervous Activity）。

馮·諾伊曼自己認為，EDVAC是第一臺“將維納提交給布什的五條原則整合為一的機器”。所以其實一直有人認為，“馮·諾伊曼體系結構”的確切命名應該是“維納-馮·諾伊曼體系結構”。維納本人對此并沒有發(fā)表過意見，反而在《人有人的用處》中多次引用馮·諾伊曼《博弈論與經(jīng)濟行為》一書中的觀點，并極有創(chuàng)見地將囚徒困境與通信/信息問題聯(lián)系起來。其后，在控制論、計算機、神經(jīng)科學和人工智能歷史上具有重要影響的歷次“梅西會議”（1946～1953），維納和馮·諾伊曼都是重要參與者。

真正有趣的思想，通常因其超前性而被長久埋沒。萊布尼茨的二進制、單子、微知覺等一系列天才構想，一定要等400年后進入計算機和網(wǎng)絡時代，才有可能真正“復活”。大語言模型的思想先驅，或許也可以追溯到萊布尼茨，畢竟是他最先嘗試依托數(shù)理邏輯，構建一整套通用的“普遍語言”，“它通過字母和符號進行邏輯分析與綜合，把一般邏輯推理的規(guī)則改變?yōu)檠菟阋?guī)則，以便更精確更敏捷地進行推理”（《神正論》）。

不過我們把視線移近一點，其實在上世紀中葉，馮·諾伊曼和諾伯特·維納就在研制真正的現(xiàn)代計算機的基礎上，不約而同地提出了相似的觀點，不過當時很少人意識到其重要性而已。就AI，尤其是大語言模型、神經(jīng)網(wǎng)絡和深度學習而言，馮·諾伊曼和維納或許比圖靈，甚至比后面的麥卡錫、香農(nóng)、明斯基、辛頓這一代代“AI之父”都更接近問題的核心，因為他們都是半個科學家＋半個哲學家，都敏銳地意識到了統(tǒng)計概率＋高維幾何的威力。

“按照詞在語言中出現(xiàn)的統(tǒng)計頻數(shù)，人們可以選出一個詞匯序列（兩個字構成的或三個字構成的字組），來求得和一種語言（例如英語）顯然相似之物；由此而得到的胡言亂語也會與正確英語具有顯著的令人信服的相似性。從語音學觀點看來，這種有意義的言語的沒有意義的類似物實際上等同于有意義的語言，雖則它在語義學上是妄語……”（《人有人的用處》P60）

讀維納在《人有人的用處》中探討機器學習時涉及語言問題的這段論述，你是否覺得今人對GPT原理的“科普”，看上去就像在抄書？

馮·諾伊曼在《計算機與人腦》中對神經(jīng)信息系統(tǒng)運行原理的解析，同樣可以看作是在統(tǒng)計學基礎上初步設想了神經(jīng)網(wǎng)絡的構造——

“……神經(jīng)系統(tǒng)中所用的信息系統(tǒng)基本上具有統(tǒng)計特性。換句話說，重要的不是明確的記號和數(shù)字的精確位置，而是它們出現(xiàn)的統(tǒng)計特征，即周期性或近周期脈沖序列等的頻率。

因此，神經(jīng)系統(tǒng)似乎采用的是與我們在普通的算術和數(shù)學中所熟悉的記號系統(tǒng)截然不同的記號系統(tǒng)。它不是精確的記號系統(tǒng)。在記號系統(tǒng)里，每個記號的位置和存在與否對于確定消息的含義都具有決定性意義。而它是這樣一種記號系統(tǒng)，在這個系統(tǒng)中，消息的意義是由消息的統(tǒng)計特性傳遞的。我們已經(jīng)看到，這個系統(tǒng)是如何采取較低的算術精度但更高的邏輯可靠性的策略的：算術運算引起的惡化通過邏輯的改進而得到補償。”

最后一句話，如果你多少了解一點GPT運行的基本原理，是不是會覺得相當程度上，它可以被看作GPT核心算法Transformer的“中心思想”?

很多重要的東西，都已蘊含在這兩本帶有科普性質(zhì)的小書中，但其真正的價值要被大多數(shù)人——即便是科學家中的大多數(shù)人——認識到，還是要等上六七十年。

事實上，發(fā)明“人工智能”（Artificial Intelligence）一詞的約翰·麥卡錫正是1948年在加州理工讀書時，聽馮·諾伊曼講解維納的控制論而萌生了研究智能計算的想法。用“人工智能”這個詞，更多是為了顯示獨創(chuàng)性、拉開與維納的距離，但后來麥卡錫自己也承認，“人工智能本應叫控制論，也就是智能自動化（Automation of Intelligence）”——正如我在前一篇文章里指認的，麥卡錫對“人工智能”的命名很可能是一段彎路的起點，它的重點倒向了“仿生學”路徑，而維納更多基于信息、通信和機器學習原理的“自動機”，或許才是“正路”，換句話說，AI這一名頭，其實更應屬于“自動智能”，而非“人工智能”。

“自動智能”的核心不是刻意去模仿人的意識、自我意識乃至思維、情緒與情感，等等，而是很實際地著重于一件最關鍵的事情，我們今天對這件事情已經(jīng)耳熟能詳：機器學習。但在人工智能發(fā)展的歷史上，機器（自主/自動）學習成為核心是相當晚近的事情，而此前長期的核心，正是模仿——怎樣盡可能讓人能做的都變成機器能做的，并做得更精確、更有效率。

關于機器學習這件事情，維納寫道：

“反饋就是一種把系統(tǒng)的過去演績再插進它里面去以控制這個系統(tǒng)的方法。如果這些結果僅僅用作鑒定和調(diào)節(jié)該系統(tǒng)的數(shù)據(jù)，那就是控制工程師所用的簡單的反饋。但是，如果說明演績情況的信息在送回之后能夠用來改變操作的一般方法和演績的模式，那我們就有一個完全可以稱之為學習的過程了。”

也就是說，在維納看來，機器學習的本質(zhì)無非是反饋循環(huán)。并且與今天強調(diào)人工智能還遠遠不具備“以假亂真”的能力——因為機器沒有情緒、情感、欲望等——的人相反，維納恰恰強調(diào)了這些所謂的主觀的、內(nèi)在的心理機制，其實也是學習的一環(huán)，是學習的某種閥門——

“那種被我們主觀地稱為情緒的現(xiàn)象，也許并不單純是神經(jīng)活動中的一種沒有用處的附帶現(xiàn)象，它很可能是控制著學習過程中的以及其他類似過程中的某一重要階段……那些在人與其他生命體的情緒和現(xiàn)代類型的自動機的應答之間截然劃上一條不可逾越的鴻溝的心理學家，在他們做出否定的結論時，應當像我作出肯定的結論時那樣小心謹慎。”

與之多少形成呼應的是，馮·諾伊曼強調(diào)了學習的另一個面向——記憶或存儲器：

“心靈一定是一個容量相當大的記憶庫，而且很難想象，像人類神經(jīng)系統(tǒng)這么復雜的自動機如果沒有它將如何運作。”

“神經(jīng)細胞系統(tǒng)以各種可能的周期性方式相互刺激，也構成了記憶。這些記憶是由活性元素（神經(jīng)細胞）組成的。我們在計算機技術中經(jīng)常大量使用這種存儲器。事實上，它們是第一批被實際引入的存儲器。”

根本來說，不管人還是機器，學習和反饋當然都必須依賴于記憶/存儲，這是一而二二而一的事情。這也是70年過去了，不管電腦怎么迭代，芯片怎么“納米”，基于存儲器的馮·諾伊曼架構至今不可動搖的原因。

《人有人的用處》

[美]諾伯特·維納 著

商務印書館 1978年6月版

《計算機與人腦》

[美]約翰·馮·諾伊曼 著

商務印書館 2022年4月版