AI江湖：神經(jīng)網(wǎng)絡(luò)興衰史
撰文｜張?zhí)烊?/span>
正如物理學(xué)家、曼哈頓計(jì)劃領(lǐng)導(dǎo)者奧本海默所說：“我們不僅是科學(xué)家，我們也是人?！保腥说牡胤骄陀薪?，科學(xué)界也難免。人們經(jīng)常說“科學(xué)無國界，科學(xué)家有祖國“，即使不談這些政治糾葛，科學(xué)家中還是有不同學(xué)術(shù)圈子的，每個(gè)人都有自己堅(jiān)持的學(xué)術(shù)觀點(diǎn)和主張，學(xué)術(shù)爭論無時(shí)不在。一般來說，自由爭論有利于學(xué)術(shù)進(jìn)步，但爭論也可能造成誤會(huì)產(chǎn)生偏見，從而讓某些科學(xué)家受害并影響科學(xué)的正常發(fā)展。今天將講述的，是AI歷史中的一段江湖故事……
1.羅森布拉特的感知器
1958年7月，美國海軍研究辦公室公布了一項(xiàng)非凡的發(fā)明，宣稱展示了“第一臺(tái)能夠擁有人類思想的機(jī)器”，見圖1。
演示者將一系列打孔卡經(jīng)過一個(gè)電子設(shè)備，輸入到一臺(tái)重5噸，大小相當(dāng)于一個(gè)房間的計(jì)算機(jī)（IBM704）中，經(jīng)過50次試驗(yàn)后，計(jì)算機(jī)學(xué)會(huì)了區(qū)分左側(cè)標(biāo)記的卡片和右側(cè)標(biāo)記的卡片。換句話說，就是這個(gè)機(jī)器可以學(xué)會(huì)“分類”，如同孩子在父母的教導(dǎo)下學(xué)會(huì)分辨貓和狗一樣。分類是人工智能研究的一個(gè)重要功能。
美國海軍演示的是“感知器”（或稱感知機(jī)，Perceptron）。據(jù)其創(chuàng)造者，弗蘭克·羅森布拉特博士介紹，這是一種模擬生物學(xué)中“神經(jīng)網(wǎng)絡(luò)”原理構(gòu)建的電子設(shè)備，具有學(xué)習(xí)能力。羅森布拉特在1962 年出版的《神經(jīng)動(dòng)力學(xué)原理：感知器和大腦機(jī)制理論》[1]一書中詳細(xì)分析并擴(kuò)展了這種方法。當(dāng)年，羅森布拉特因感知器而獲得了國際認(rèn)可。《紐約時(shí)報(bào)》將其稱為一場革命，標(biāo)題為“新海軍設(shè)備通過實(shí)踐來學(xué)習(xí)”，《紐約客》同樣也對這項(xiàng)技術(shù)進(jìn)步表示了贊賞。
當(dāng)時(shí)的羅森布拉特是紐約布法羅康奈爾航空實(shí)驗(yàn)室的研究心理學(xué)家和項(xiàng)目工程師，展示感知機(jī)后的第二年，他成為康奈爾大學(xué)生物科學(xué)系神經(jīng)生物學(xué)和行為學(xué)副教授。
羅森布拉特的感知機(jī)計(jì)劃受到了McCulloch和Pitts的形式神經(jīng)網(wǎng)絡(luò)的啟發(fā)，是專為圖像識(shí)別而設(shè)計(jì)的一個(gè)簡單的單層神經(jīng)網(wǎng)絡(luò)，并且添加了額外的機(jī)器學(xué)習(xí)機(jī)制。圖2是感知機(jī)的邏輯示意圖。感知機(jī)獲得了美國海軍的大量資助，最初是基于兩年的軟件研究而實(shí)現(xiàn)。之后，羅森布拉特構(gòu)建并展示了感知器的唯一硬件版本：Mark-1，它由聯(lián)結(jié)到神經(jīng)元的400個(gè)光電細(xì)胞（20×20的感光單元矩陣）組成，可以將輸入的光學(xué)信號(hào)（例如英文字符）轉(zhuǎn)化為電信號(hào)，再通過物理電纜將其與字母分類的神經(jīng)元層相連。Mark-1突觸的權(quán)重函數(shù)用電位計(jì)編碼，由電動(dòng)馬達(dá)實(shí)現(xiàn)學(xué)習(xí)過程中權(quán)重的改變。
可想而知，在當(dāng)時(shí)的技術(shù)條件下，這臺(tái)機(jī)器的具體實(shí)現(xiàn)還是非常困難的，這也是為什么引起轟動(dòng)和廣泛關(guān)注的原因。
羅森布拉特對他的感知器寄予厚望，對人工智能神經(jīng)網(wǎng)絡(luò)的研究持十分樂觀的態(tài)度，他樂觀地認(rèn)為突破即將到來。原來十分低調(diào)的科學(xué)家突然走紅，他出席各種演講、晚會(huì)，這點(diǎn)當(dāng)然會(huì)引起當(dāng)年人工智能大伽們的注意。
羅森布拉特的工作引起了MIT閔斯基教授的關(guān)注。閔斯基在感知器問世的兩年之前，即1956年，與麥卡錫等一起，發(fā)起召開了達(dá)特茅斯研討會(huì)，確定了人工智能的名字，討論了發(fā)展方向等等問題。基于他對神經(jīng)網(wǎng)絡(luò)的研究，使得他對羅森布拉特的主張深感懷疑?？茖W(xué)中的質(zhì)疑是正常現(xiàn)象，因此，他們經(jīng)常在學(xué)術(shù)會(huì)議上公開辯論感知機(jī)的可行性。在一次會(huì)議上，兩人大吵一頓，矛盾徹底公開化。想必那幾次爭論是非常激烈的，因?yàn)閾?jù)他們的同事和學(xué)生在后來的回憶中，有“在一旁看得目瞪口呆”、“被他們的爭論嚇了一跳”之類的話語。閔斯基直接對感知機(jī)存在的價(jià)值和前途發(fā)起進(jìn)攻，指出它的實(shí)際價(jià)值非常有限，沒有什么發(fā)展前途，絕不可能作為解決人工智能的問題的主要研究方法。
“羅森布拉特認(rèn)為他可以使計(jì)算機(jī)閱讀并理解語言，而馬文·閔斯基指出這不可能，因?yàn)楦兄獧C(jī)的功能太簡單了”一位當(dāng)年的研究生回憶說。
后來，1969年，閔斯基和MIT的另一位數(shù)學(xué)教授西摩·佩珀特（Seymour Papert）出了一本名為《感知機(jī)》（Perceptrons）的學(xué)術(shù)著作[2]，從理論上證明感知機(jī)的缺陷，書中還有對羅森布拉特個(gè)人的攻擊言語：“羅森布拉特寫的論文，大部分內(nèi)容……毫無科學(xué)價(jià)值”。
在《感知機(jī)》這本書對羅森布拉特工作的強(qiáng)烈抨擊下，本質(zhì)上終結(jié)了感知機(jī)的命運(yùn)。次年，閔斯基獲得圖靈獎(jiǎng)，得到了計(jì)算機(jī)領(lǐng)域的最高榮譽(yù)。
閔斯基是當(dāng)時(shí)業(yè)界的權(quán)威人物，這種對感知機(jī)直截了當(dāng)?shù)呢?fù)面評價(jià)，對本性孤傲的羅森布拉特來說是致命的。一年多后，羅森布拉特在獨(dú)自劃船慶祝自己43歲生日那天溺水身亡，把他的名字，他的感知機(jī)，他的遺憾和夢想，都永遠(yuǎn)留在了人工智能的科學(xué)史上。
《感知機(jī)》一書不僅打擊了羅森布拉特，造成感知機(jī)的暫時(shí)失敗，還幾乎扼殺了當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)方面的研究，也影響和帶來了人工智能長達(dá)10年的第一次低谷期。
2.符號(hào)主義和聯(lián)結(jié)主義
其實(shí)，羅森布拉特[3]和閔斯基的出身和經(jīng)歷，有許多相同之處，他們年齡相仿，都是出生于紐約的猶太家庭，他們甚至曾經(jīng)同時(shí)就讀于同一所中學(xué)，是紐約布朗克斯科學(xué)高中的校友。不錯(cuò)！就是那所出了8名諾貝爾科學(xué)獎(jiǎng)和一位諾貝爾經(jīng)濟(jì)獎(jiǎng)得主，還有難以數(shù)計(jì)的各方名人的著名高中。如此名校的學(xué)兄學(xué)弟，卻結(jié)怨于學(xué)海江湖！不由得使人腦海中劃過那句名言：“相煎何太急？”
不過，羅森布拉特去世后，閔斯基在《感知機(jī)》一書再版時(shí)，刪除了原版中對羅森布拉特的個(gè)人攻擊的句子，并手寫了“紀(jì)念羅森布拉特”（In memory of Frank Rosenblatt）一語，多少表示了對這位早逝校友同行的哀悼。
此外，兩人的爭論也代表了當(dāng)年人工智能中符號(hào)主義與聯(lián)結(jié)主義兩種學(xué)術(shù)觀點(diǎn)之爭[4]。
馬文·閔斯基（Marvin Minsky，1927—2016）生于紐約市，他是深度學(xué)習(xí)的先行者。在哈佛大學(xué)讀本科期間，他曾開發(fā)了早期的電子學(xué)習(xí)網(wǎng)絡(luò)。在普林斯頓大學(xué)念研究生時(shí)，他建造了第一臺(tái)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)SNARC。他的博士論文以《神經(jīng)-模擬強(qiáng)化系統(tǒng)的理論及其在大腦模型問題上的應(yīng)用》為題，這實(shí)際上就是一篇關(guān)于神經(jīng)網(wǎng)絡(luò)的論文。所以，閔斯基研究生階段的工作，奠定了人工神經(jīng)網(wǎng)絡(luò)的研究基礎(chǔ)，應(yīng)該屬于聯(lián)結(jié)主義的范疇。
1956年，他與約翰·麥卡錫、克勞德·香農(nóng)等，一同發(fā)起了1956年的達(dá)特茅斯學(xué)院會(huì)議，創(chuàng)造了“人工智能”一詞，是AI的開山鼻祖之一。達(dá)特茅斯學(xué)院會(huì)議也是符號(hào)主義的勝利，閔斯基和麥卡錫都被認(rèn)為是AI符號(hào)主義的典型代表人物，當(dāng)年他們的意圖，是反對早期控制論的聯(lián)結(jié)主義。認(rèn)為人工智能的目的是通過程序在計(jì)算機(jī)中實(shí)現(xiàn)規(guī)則，用邏輯推理來對抗AI中的聯(lián)結(jié)主義。從20世紀(jì)60年代中期到90年代初，符號(hào)主義方法盛行。
可見，閔斯基后來轉(zhuǎn)向了符號(hào)派，他也盡力淡化他與聯(lián)結(jié)主義間的關(guān)系，也許這是他強(qiáng)烈抨擊感知機(jī)的原因之一。
閔斯基自1958年起在麻省理工學(xué)院任教，擔(dān)任電子工程與計(jì)算機(jī)科學(xué)的教授，直到他過世為止。
在麻省理工學(xué)院，他與約翰·麥卡錫共同創(chuàng)立了人工智能研究室（MIT計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室的前身）。他有數(shù)項(xiàng)發(fā)明，如1957年發(fā)表的共聚焦顯微鏡，1963年發(fā)表的頭戴式顯示器等。
2016年1月24日，閔斯基因腦內(nèi)出血病逝，享壽88歲。
閔斯基的對手弗蘭克·羅森布拉特（Frank Rosenblatt，1928－1971）比他小一歲，是一位心理學(xué)家。
羅森布拉特出生于紐約長島的一個(gè)猶太家庭，1946年從布朗克斯科學(xué)高中畢業(yè)后，他進(jìn)入康奈爾大學(xué)，并于1950年獲得學(xué)士學(xué)位，1950年獲得博士學(xué)位。隨后，他前往紐約州布法羅的康奈爾航空實(shí)驗(yàn)室，先后擔(dān)任研究心理學(xué)家、高級(jí)心理學(xué)家和認(rèn)知系統(tǒng)部門負(fù)責(zé)人。這也是他進(jìn)行感知器早期工作的地方。
羅森布拉特1966年加入康奈爾大學(xué)新成立的生物科學(xué)系神經(jīng)生物學(xué)和行為科，擔(dān)任副教授。他對通過注射腦提取物將學(xué)習(xí)行為從經(jīng)過訓(xùn)練的老鼠轉(zhuǎn)移到小老鼠身上產(chǎn)生了濃厚的興趣，他在后來的幾年中就這一主題發(fā)表了大量文章。
羅森布拉特也對天文學(xué)感興趣，他花了3000美元買了一臺(tái)望遠(yuǎn)鏡，但太大了以至于沒有地方放。因此，他在紐約布魯克頓代爾附近買了一棟大房子，并邀請他的幾名研究生住在那里。白天，團(tuán)隊(duì)在托伯莫里工作。晚上，他們在羅森布拉特的院子里作土木工作，建了一座天文臺(tái)。
羅森布拉特興趣廣泛多才多藝，白天在實(shí)驗(yàn)室里解剖蝙蝠，研究動(dòng)物大腦的學(xué)習(xí)機(jī)理，夜晚在自家后山搭建的簡易天文臺(tái)上仰望天空，試圖探索外星人奧秘。羅森布拉特的性格方面，害羞內(nèi)向，并不張揚(yáng)。
感知器始終是羅森布拉特的熱情所在。他最終沒有熬過人工智能的冬天，于1971年43歲生日那天，自駕駛帆船溺水身亡。2004年，IEEE計(jì)算智能學(xué)會(huì)設(shè)立了羅森布拉特獎(jiǎng)（IEEE Frank Rosenblatt Award），獎(jiǎng)勵(lì)在生物及語音啟發(fā)計(jì)算領(lǐng)域做出卓越貢獻(xiàn)的人，以紀(jì)念這位杰出的科學(xué)家。
1956年的達(dá)特茅斯會(huì)議，啟動(dòng)了第一波人工智能浪潮，這一浪潮跨越至70年代初，代表符號(hào)主義的建模推理方法是其核心特征。這方面研究的主流由MIT的閔斯基、卡內(nèi)基梅隆大學(xué)的西蒙和紐厄爾，以及斯坦福大學(xué)的麥卡錫組成。在當(dāng)時(shí)，這個(gè)符號(hào)主義圈子里的高手們，基本建立了對人工智能問題的壟斷，并獲得了大部分資金和大型計(jì)算機(jī)系統(tǒng)的訪問權(quán)。
符號(hào)主義者的主要特征是他們不太重視機(jī)器智能與世界的聯(lián)系，只在計(jì)算機(jī)內(nèi)開辟獨(dú)立的推理空間，將人工智能視為機(jī)器思維的科學(xué)，目標(biāo)是賦予機(jī)器以邏輯和抽象的能力。
反之，羅森布拉特是心理學(xué)家，對人類生理學(xué)和心理行為等更感興趣，因而趨向于聯(lián)結(jié)主義。自然地，他熱衷于對用神經(jīng)網(wǎng)絡(luò)的概念來模擬人腦神經(jīng)傳遞機(jī)制，也由此而研究發(fā)明了感知機(jī)。
感知機(jī)在媒體上取得的成功，也激發(fā)起聯(lián)結(jié)主義研究人員的熱情。但閔斯基和帕佩特在1969年的書中宣稱他們證明了神經(jīng)網(wǎng)絡(luò)無效的說法，又給這些科學(xué)家們澆了一盆冷水，使聯(lián)結(jié)主義的熱度驟減。盡管這本書的影響可能超出了閔斯基等的意圖，但其后果是確定的：神經(jīng)網(wǎng)絡(luò)被放棄，其資金被大量削減。實(shí)際上，不僅聯(lián)結(jié)主義衰退，針對符號(hào)主義的批評也越來越多，符號(hào)主義和聯(lián)結(jié)主義項(xiàng)目都被凍結(jié)了，聯(lián)邦對人工智能研究的資助枯竭。人工智能被當(dāng)成僅僅是人工游戲，進(jìn)入了它發(fā)展旅程中的第一個(gè)冬天。
3.感知器和神經(jīng)網(wǎng)絡(luò)
我們回到羅森布拉特的感知機(jī)[5]。它實(shí)際上是現(xiàn)代神經(jīng)網(wǎng)絡(luò)的雛形，有沒有科學(xué)價(jià)值，已有如今AI的迅猛發(fā)展為證。當(dāng)然，作為第一代的人工智能機(jī)器，感知器有這樣那樣的缺陷是難免的，而且當(dāng)時(shí)的羅森布拉特，還沒來得及把感知機(jī)的學(xué)習(xí)算法推廣到多層神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)從簡單到復(fù)雜多種多樣，見圖4。感知器只是一個(gè)最簡單只有一層的神經(jīng)網(wǎng)絡(luò)（圖4左），而現(xiàn)代神經(jīng)網(wǎng)絡(luò)卻有數(shù)百萬個(gè)（隱藏）層，圖4右。
不過，閔斯基認(rèn)為感知器的缺陷是致命的，因?yàn)樗鼰o法模擬“非線性可分”函數(shù)，他舉了一個(gè)邏輯門的例子：異或門，即感知器不能區(qū)分異或門。以下對此作簡單介紹。
感知器神經(jīng)元的簡單模型如圖4左圖所示：多個(gè)輸入和一個(gè)輸出。輸出功能是求得輸入向量與權(quán)向量的內(nèi)積后，經(jīng)一個(gè)激活函數(shù)得到一個(gè)標(biāo)量結(jié)果。
神經(jīng)網(wǎng)絡(luò)為什么能分類呢？原因之一是歸于激活函數(shù)的功勞。例如，最簡單的激活函數(shù)是個(gè)階梯函數(shù)，輸出0或1，也就是說，這個(gè)函數(shù)實(shí)現(xiàn)了分類：將結(jié)果分成了兩類。
至于何時(shí)輸出0，何時(shí)輸出1？就要根據(jù)輸入的值來進(jìn)行決策了。例如，可以問3個(gè)問題來判定是貓還是狗？耳朵朝上還是朝下？嘴巴是否凸出來？胡須長或短？最簡單的決策方法就是：3個(gè)問題都輸入yes的話，輸出=貓，否則是“狗”。但激活函數(shù)可以從階梯函數(shù)改變?yōu)槠交暮瘮?shù)，如圖4左圖中右下角的紅線所示，這種函數(shù)便于在最優(yōu)化時(shí)進(jìn)行微分計(jì)算，而輸出便被相應(yīng)地理解為決策判斷為是貓還是狗的概率了。
神經(jīng)網(wǎng)絡(luò)又為何能具有學(xué)習(xí)功能呢？那是因?yàn)槊總€(gè)輸入端都有一個(gè)權(quán)重值，這些參數(shù)是神經(jīng)網(wǎng)絡(luò)的核心。在訓(xùn)練過程中，網(wǎng)絡(luò)調(diào)整這些權(quán)重，以使其在特定任務(wù)上的誤差最小化。這個(gè)權(quán)重更新的過程也就是所謂的“機(jī)器學(xué)習(xí)”的過程。最小化可以使用各種優(yōu)化算法，例如，感知器中用的是“梯度下降法”。
如圖4左圖上方的公式所示，為輸出而計(jì)算的求和函數(shù)是n維空間中的一個(gè)超平面。因此，感知器這種神經(jīng)網(wǎng)絡(luò)“分類”的本質(zhì)就是這個(gè)超平面將空間分成了兩部分。如果對兩個(gè)輸入端的神經(jīng)網(wǎng)絡(luò)而言，就是用一條直線將平面分成了2個(gè)部分，如圖5b所示的線性可分情況。
然而，如果輸入的樣本是線性不可分的（圖5b右邊），感知機(jī)則無法模擬這種情況。這就是閔斯基指出的感知機(jī)的缺點(diǎn)。
圖6顯示的是幾種基本邏輯門的情況，單層感知機(jī)可被用來區(qū)分其中的3種，邏輯與(AND)、邏輯與非(NAND)和邏輯或(OR)，但是，無法模擬邏輯異或函數(shù)，因?yàn)樗鼘儆诰€性不可分。
要解決非線性可分問題，可考慮使用多層功能神經(jīng)網(wǎng)絡(luò)。輸出層與輸入層之間的一層神經(jīng)元，被稱為隱層，隱層和輸出層神經(jīng)元都是擁有激活函數(shù)的功能神經(jīng)元。圖7左圖中，感知器的神經(jīng)元，沒有隱含層，決策計(jì)算只生成一條直線，無法區(qū)別異或問題。但如果增加一個(gè)帶非線性激活函數(shù)的隱含層就可以了。隱層輸出的激活函數(shù)的非線性也有助于解決非線性可分問題。多一個(gè)隱層相當(dāng)于增加了一個(gè)空間維度，如圖6右圖所示，構(gòu)成了一個(gè)單隱層的神經(jīng)網(wǎng)絡(luò)，決策計(jì)算就能生成兩條直線，可以區(qū)別異或問題了。
對多隱層的神經(jīng)網(wǎng)絡(luò)，還有一個(gè)“萬能近似定理”，意味著使用S型函數(shù)作為激勵(lì)函數(shù)的多層神經(jīng)網(wǎng)絡(luò)，可以用來近似任意的復(fù)雜函數(shù)，并且可以達(dá)到任意近似精準(zhǔn)度。
總而言之，從20世紀(jì)80年代和90年代開始，聯(lián)結(jié)主義重新出現(xiàn)，神經(jīng)網(wǎng)絡(luò)研究回歸主流。許多人認(rèn)為羅森布拉特的理論已被證明是正確的。樸素的感知器有其缺陷，但它的基本原理引發(fā)了現(xiàn)代人工智能革命。深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)正在改變我們的社會(huì)，了解一下感知器，以及神經(jīng)網(wǎng)絡(luò)這段興衰史，有助于我們更好地認(rèn)清AI，以及AI發(fā)展的未來。
參考文獻(xiàn)：（上下滑動(dòng)可瀏覽）
