亚洲 a v无 码免 费 成 人 a v,性欧美videofree高清精品,新国产三级在线观看播放,少妇人妻偷人精品一区二区,天干天干天啪啪夜爽爽av

來源 | 未來論壇

●　●　●

報(bào)告將以神經(jīng)形態(tài)計(jì)算機(jī)為中心介紹計(jì)算機(jī)與大腦的區(qū)別以及大腦對開發(fā)更加新型的智能計(jì)算機(jī)的啟示；關(guān)于神經(jīng)形態(tài)計(jì)算機(jī)的必要組成以及介紹大腦是如何完成計(jì)算任務(wù)的；目前算法的進(jìn)展以及硬件設(shè)計(jì)方面的成果；對這個(gè)領(lǐng)域的總結(jié)和展望。

基于馮·諾依曼結(jié)構(gòu)的傳統(tǒng)計(jì)算架構(gòu)已引領(lǐng)計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展幾十年。但其運(yùn)行效率受到了很多制約，例如I/O性能的制約，大量的數(shù)據(jù)讀寫會(huì)降低整體效率，凸顯了馮·諾伊曼體系結(jié)構(gòu)的瓶頸。而大腦中突觸和神經(jīng)元同時(shí)可以做計(jì)算和存儲(chǔ)，所以不存在馮·諾依曼架構(gòu)的I/O的吞吐瓶頸。大腦還具有能耗低，效率高，并行性高的特點(diǎn)。因此研究大腦的工作原理、模擬大腦智能的信息處理，構(gòu)建一個(gè)非馮·諾依曼體系的新型計(jì)算機(jī)體系，不僅是計(jì)算機(jī)科學(xué)也是計(jì)算機(jī)工程以及硬件今后發(fā)展的一個(gè)重要方向。

下面將從大腦的主要計(jì)算過程來解釋如何設(shè)計(jì)未來的神經(jīng)形態(tài)計(jì)算機(jī)，并由此出發(fā)來解釋大腦計(jì)算必須的組成部分。

第一，網(wǎng)絡(luò)結(jié)構(gòu)。生物神經(jīng)元的輸入前饋和反傳發(fā)生在神經(jīng)元的不同部位，對于I/O來說做了充分的簡化。大腦存在著大量稀疏的異構(gòu)連接；而ANN主要依賴的是前饋全連接的網(wǎng)絡(luò)結(jié)構(gòu)?；谏疃染W(wǎng)絡(luò)的算法，往往采取一個(gè)全局的優(yōu)化函數(shù)使其達(dá)到最優(yōu)值來調(diào)整權(quán)重；而對于生物神經(jīng)網(wǎng)絡(luò)來說，由于存在大量的局部連接以及遠(yuǎn)程連接，并有豐富多樣的突觸可塑性，因此可以更加靈活的調(diào)整神經(jīng)元之間的連接來完成對目標(biāo)函數(shù)的優(yōu)化。

第二，大腦采用的是具有生物特性的計(jì)算模式。人工神經(jīng)元不需要考慮輸入的時(shí)間特性。但是生物神經(jīng)元具有四個(gè)典型的時(shí)間的非線性動(dòng)力學(xué)：一是膜電位積分，二是漏電效應(yīng)，三是不應(yīng)期，四是脈沖發(fā)放。這樣就會(huì)有脈沖神經(jīng)元輸入脈沖的不連續(xù)性，以及輸出脈沖的不連續(xù)性。

第三，信用分配問題。信用分配在人工神經(jīng)網(wǎng)絡(luò)里常被說成優(yōu)化算法，最典型的一個(gè)優(yōu)化算法就是梯度下降算法。但梯度下降算法存在一個(gè)誤差傳輸問題，即要求前向和反向權(quán)值要完全對稱。生物神經(jīng)元的信用分配機(jī)制采用完全不同的處理方式，由于脈沖神經(jīng)元之間依賴于脈沖發(fā)放時(shí)間，因此采用基于脈沖時(shí)間的學(xué)習(xí)方式。在神經(jīng)科學(xué)里面應(yīng)用非常廣泛的STDP（脈沖時(shí)間依賴的突觸可塑性）是基于突觸前后脈沖發(fā)放的時(shí)間差來調(diào)整，實(shí)現(xiàn)局部的無監(jiān)督學(xué)習(xí)。此外，也可以通過設(shè)計(jì)實(shí)際脈沖序列和期望脈沖序列之間的序列差來有監(jiān)督式的學(xué)習(xí)和訓(xùn)練發(fā)放脈沖。另外可以把每個(gè)神經(jīng)元和突觸都當(dāng)做一個(gè)智能體，發(fā)放脈沖或者不發(fā)放脈沖作為智能體的動(dòng)作，來構(gòu)成一個(gè)強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)。這樣可以實(shí)現(xiàn)更加靈活并且生物性更強(qiáng)的一種學(xué)習(xí)算法。

第四，學(xué)習(xí)與記憶的融合。在訓(xùn)練完人工網(wǎng)絡(luò)后，當(dāng)新的任務(wù)進(jìn)來，權(quán)值往往會(huì)被覆蓋。但是在生物神經(jīng)元里有大量專門負(fù)責(zé)記憶的細(xì)胞，比如海馬體中的記憶細(xì)胞，它可以記憶熟悉的場景并對空間進(jìn)行編碼。所以依據(jù)海馬區(qū)，可以實(shí)現(xiàn)神經(jīng)元對外部輸入的表達(dá)、學(xué)習(xí)及記憶，構(gòu)成一個(gè)基于學(xué)習(xí)記憶-記憶融合的認(rèn)知計(jì)算。

下面介紹一下目前算法的進(jìn)展以及硬件方面設(shè)計(jì)的成果。

第一個(gè)是關(guān)于信息的編碼工作，即把輸入信息轉(zhuǎn)換成一系列的時(shí)空脈沖信號。我們對新型的神經(jīng)形態(tài)視覺信息進(jìn)行脈沖編碼和表征來處理動(dòng)態(tài)的視覺信息，發(fā)表在2020年TNNLS上。

第二個(gè)是基于深度SNN的信用分配算法。信用分配算法可以高效的解決由于時(shí)間動(dòng)力學(xué)帶來的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難問題。不僅在空間上進(jìn)行誤差反傳，同時(shí)可以把誤差信息傳遞到脈沖的時(shí)間信息上?；谶@樣的設(shè)計(jì)，我們提出了基于脈沖簇的學(xué)習(xí)算法，不僅可以訓(xùn)練神經(jīng)元在指定時(shí)間發(fā)放脈沖，而且可以指定發(fā)放脈沖簇。

第三個(gè)是脈沖損失函數(shù)?，F(xiàn)有的脈沖損失函數(shù)具有各自的缺陷，我們通過改造現(xiàn)有損失函數(shù)使其能夠訓(xùn)練神經(jīng)元對復(fù)雜的時(shí)間序列具有響應(yīng)特性，比如在訓(xùn)練前雜亂無章的神經(jīng)元響應(yīng)，在訓(xùn)練后能夠顯示出對某些特定信號的選擇性響應(yīng)。

第四個(gè)是學(xué)習(xí)與記憶融合。我們構(gòu)建一個(gè)能夠模仿多層腦區(qū)的結(jié)構(gòu)，實(shí)現(xiàn)神經(jīng)元的編碼、監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，同時(shí)實(shí)現(xiàn)聯(lián)想記憶和時(shí)序記憶。

第五，在感知-認(rèn)知-交互閉環(huán)上，我們把海馬體電路搬到機(jī)器人上，通過硬件模式來實(shí)現(xiàn)機(jī)器人對空間感知、認(rèn)知交互的閉環(huán)。Communications of ACM 2018專題也介紹了這樣的工作，來解釋大腦如何幫助機(jī)器人對復(fù)雜環(huán)境空間進(jìn)行感知，以及依賴空間位置神經(jīng)元對空間的記憶以及編碼的作用。

還有一些在硬件實(shí)現(xiàn)上的一些成果。通過數(shù)字或者模擬集成電路可以實(shí)現(xiàn)神經(jīng)元、突觸以及突觸可塑性。這個(gè)領(lǐng)域上已經(jīng)有大量神經(jīng)形態(tài)芯片的成果，比如SpiNNaker、BrainScaleS、TrueNorth、Loihi、ROLLS、清華“天機(jī)”芯片、浙大“達(dá)爾文”芯片等。另外，未來類腦芯片的潛在突破可能在憶阻器及陣列。利用憶阻器可以分別實(shí)現(xiàn)突觸和神經(jīng)元，實(shí)現(xiàn)模擬矩陣運(yùn)算即存算一體。

最后，我提出一些對于神經(jīng)形態(tài)計(jì)算機(jī)的總結(jié)與展望。首先其必須具備異構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)，其次要包含時(shí)序動(dòng)力學(xué)的神經(jīng)元非線性，另外要構(gòu)建基于突觸可塑性的信用分配算法，最后要實(shí)現(xiàn)學(xué)習(xí)-記憶融合的認(rèn)知計(jì)算。未來，我們要把大腦真正“搬進(jìn)”機(jī)箱，讓它實(shí)現(xiàn)知識(shí)的表達(dá)、學(xué)習(xí)、認(rèn)知以及環(huán)境的交互。

我的報(bào)告將從硬件的挑戰(zhàn)，研究進(jìn)展以及展望三方面來介紹大腦啟發(fā)的存算一體技術(shù)。

人工智能無處不在，從云端到我們手機(jī)端都有很多人工智能。不同的人工智能應(yīng)用對芯片的需求是不一樣的，比如數(shù)據(jù)中心、汽車無人駕駛要求算力特別高，而智能傳感網(wǎng)、物聯(lián)網(wǎng)和手機(jī)希望耗能低，追求高能效。不同應(yīng)用對芯片的不同需求給了芯片領(lǐng)域很多機(jī)會(huì)。

人工智能的三個(gè)發(fā)展浪潮和硬件算力也有關(guān)系。從第一款神經(jīng)網(wǎng)絡(luò)Perceptron 網(wǎng)絡(luò)AI開始火起來，到70年代進(jìn)入低谷，一個(gè)非常重要的因素是，雖然有很好的理論模型，但是沒有足夠的算力。后來專家系統(tǒng)出現(xiàn)，第二波浪潮又起來。這時(shí)候很多人做專門圍繞人工智能的計(jì)算機(jī)。同時(shí)代摩爾定律快速推動(dòng)芯片的發(fā)展，通用計(jì)算機(jī)的性能飛速上揚(yáng)，專業(yè)計(jì)算機(jī)能做的通用計(jì)算機(jī)也能做，因此逐漸占據(jù)市場，第二波浪潮又下去。第三波浪潮，深度神經(jīng)網(wǎng)絡(luò)的提出到利用GPU加速網(wǎng)絡(luò)訓(xùn)練，GPU成為AI的主要訓(xùn)練平臺(tái)。有了更大的算力，網(wǎng)絡(luò)規(guī)模快速提升。AlphaGo Zero需要5000個(gè)TPU訓(xùn)練40天才成為地表最強(qiáng)的圍棋選手，花費(fèi)的時(shí)間還是很大的，因此人工智能的廣泛應(yīng)用需要硬件能力革新，支撐人工智能的發(fā)展。

芯片能提供的算力和人工智能的高需求是很矛盾的。第一臺(tái)計(jì)算機(jī)ENIAC出現(xiàn)在1947年，算力是每秒鐘5000次左右。英特爾2019年的CPU大約是20.8GFLOPS。我們看到它的變化是圍繞著摩爾定律，即每18個(gè)月翻一番的集成度來提升算力。但是目前AI的需求是每3.4個(gè)月翻一番。因此需要尋找新方法提供算力。

算力提升越來越困難有兩個(gè)原因，一是過去摩爾定律是把器件做的越來越小，現(xiàn)在器件尺寸縮小已經(jīng)接近物理極限了，所以摩爾定律逐漸失效。二是傳統(tǒng)計(jì)算架構(gòu)發(fā)展帶來的性能提升日趨緩慢?，F(xiàn)代計(jì)算系統(tǒng)普遍采用信息存儲(chǔ)和運(yùn)算分離的馮諾依曼架構(gòu)，其運(yùn)算性能受到數(shù)據(jù)存儲(chǔ)速度和傳輸速度的限制。具體來說，CPU的計(jì)算速度小于1納秒，但是主存DRAM是百納秒左右，也就是存儲(chǔ)的速度遠(yuǎn)遠(yuǎn)低于計(jì)算速度。

在能耗上，以TSMC45納米的工藝為例，加減乘小于一個(gè)pJ，但是32位DRAM的讀要高達(dá)640個(gè)pJ，這一比也是百倍的差距。因此存儲(chǔ)速度遠(yuǎn)遠(yuǎn)低于CPU的速度，而存儲(chǔ)的功耗也遠(yuǎn)遠(yuǎn)高于CPU的功耗。這還沒有講存儲(chǔ)的寫，寫的功耗會(huì)更高。這樣整個(gè)系統(tǒng)的性能受到數(shù)據(jù)存儲(chǔ)速度和傳輸速度的限制，能耗也因?yàn)榇鎯?chǔ)讀的功耗和寫的功耗很大，導(dǎo)致整個(gè)系統(tǒng)功耗都很大。

現(xiàn)在可以看到很多新的計(jì)算出來了，量子計(jì)算、光計(jì)算、類腦計(jì)算、存算一體。所以當(dāng)我們要思考未來的計(jì)算時(shí)，我自己覺得量子計(jì)算、光計(jì)算是向物理找答案，類腦計(jì)算、存算一體是向生物找答案，也就是向大腦找答案。

著名的人機(jī)大戰(zhàn)，人工智能選手 AlphaGo用了176個(gè)GPU、1202個(gè)CPU，功耗是150000W。而我們大腦體積大概1.2L，有1011個(gè)神經(jīng)元，1015個(gè)突觸，思考的時(shí)候功耗是20W。大腦的功耗這么少，這么聰明，這里面還有這么大容量的神經(jīng)元、突觸。所以我們希望用腦啟發(fā)設(shè)計(jì)新的人工智能芯片。

我們想通過向生物學(xué)家學(xué)習(xí)、向神經(jīng)學(xué)家學(xué)習(xí)，來看看大腦是如何處理計(jì)算的。大腦有幾個(gè)特點(diǎn)，一個(gè)是有大量的神經(jīng)元連接性，以及神經(jīng)元加突觸的結(jié)構(gòu)，一個(gè)神經(jīng)元將近連接了1萬個(gè)突觸。第二個(gè)它的時(shí)空信息的編碼方式是用脈沖的方式。我們希望模仿大腦的結(jié)構(gòu)和工作機(jī)制，用脈沖編碼的形式來輸入輸出。

生物突觸是信息存儲(chǔ)也是信息處理的最底層的生物器件。我們想在芯片上做電子突觸新器件，做存算一體的架構(gòu)。新器件方面我們主要研究的是憶阻器，它的特點(diǎn)是可以多比特，同時(shí)非易失，即把電去掉以后可以保持這個(gè)阻值，并且它速度很快。還有很關(guān)鍵的一點(diǎn)，它和集成電路的CMOS工藝是兼容的，可以做大規(guī)模集成。近十年我們一直圍繞這個(gè)器件來做其優(yōu)化和計(jì)算功能。

美國DARPA的FRANC項(xiàng)目提出用模擬信號處理方式來超越傳統(tǒng)的馮·諾依曼計(jì)算架構(gòu)，希望帶來計(jì)算性能系統(tǒng)的增加。任正非在2019年接受采訪時(shí)說，未來在邊緣計(jì)算不是把CPU做到存儲(chǔ)器里，就是把存儲(chǔ)器做到CPU里，這就改變了馮·諾依曼結(jié)構(gòu)，存儲(chǔ)計(jì)算合而為一，速度快。阿里2020年的十大科技趨勢里提到計(jì)算存儲(chǔ)一體化，希望通過存算一體的架構(gòu)，突破AI算力瓶頸。存算一體的理念也是受大腦計(jì)算方式啟發(fā)的。

基于憶阻器的存算一體技術(shù)可以分為三個(gè)階段：第一個(gè)階段是單個(gè)器件的發(fā)展階段。2008年惠普實(shí)驗(yàn)室的Stan  William教授首次在實(shí)驗(yàn)室制備了憶阻器，之后美國密西根大學(xué)的盧偉教授提出了電子突觸概念，美國UCSB大學(xué)的謝源教授提出了基于憶阻器的PRIME存算一體架構(gòu)，引起廣泛關(guān)注。

第二個(gè)階段開始做陣列，2015年UCSB在12×12的陣列上演示了三個(gè)字母的識(shí)別，我們團(tuán)隊(duì)2017年在128×8的陣列上演示了三個(gè)人臉的識(shí)別，準(zhǔn)確率能夠大于95%，同時(shí)期還有IBM，UMass和HP等研究團(tuán)隊(duì)實(shí)驗(yàn)實(shí)現(xiàn)了在陣列上的存算一體；    

第三個(gè)階段是存算一體芯片，我們以芯片設(shè)計(jì)領(lǐng)域的頂會(huì)ISSCC上近幾年發(fā)表的文章為例，2018年松下展示了多層感知機(jī)的宏電路，2019年臺(tái)灣地區(qū)新竹清華大學(xué)和臺(tái)積電聯(lián)合演示了卷積核計(jì)算的宏電路，今年清華和斯坦福合作做的限制玻耳茲曼機(jī)宏電路。

也是今年我們清華團(tuán)隊(duì)完成的一個(gè)全系統(tǒng)集成的完整的存算一體芯片，從系統(tǒng)測試結(jié)果來看，這個(gè)芯片能效高達(dá)78.4TOPs/W，是相當(dāng)高的。我們還做了一個(gè)對比，一個(gè)是存算一體的芯片和系統(tǒng)，一個(gè)是用了樹莓派28納米的CPU。我們的芯片跑完一萬張圖片是3秒，而他們是59秒，我們的速度要快很多，準(zhǔn)確率卻相當(dāng)。

今年1月我們在Nature上發(fā)表了一個(gè)憶阻器存算一體系統(tǒng)的工作。這個(gè)工作主要是把多個(gè)陣列放在一起組成一個(gè)系統(tǒng)，并驗(yàn)證是否能用作模擬計(jì)算來實(shí)現(xiàn)AI的工作。我們提出新型混合訓(xùn)練算法，實(shí)現(xiàn)了與軟件相當(dāng)?shù)挠?jì)算精度。還提出了新型卷積空間并行架構(gòu),成倍提升了系統(tǒng)處理速度。

為什么憶阻器存算一體適合人工智能呢？因?yàn)榻徊骊嚵薪Y(jié)構(gòu)特別適合快速矩陣向量乘法。存算一體可以減少權(quán)重搬移帶來的功耗和延時(shí)，有效地解決目前算力的瓶頸。另外，人工智能更關(guān)注系統(tǒng)準(zhǔn)確性，而不是每個(gè)器件的精度，這特別符合憶阻器和模擬計(jì)算的特點(diǎn)。

我們還和畢國強(qiáng)老師合作了一篇綜述文章。利用腦啟發(fā)來設(shè)計(jì)人工智能芯片，我們把大腦從I/O通道，到突觸，神經(jīng)元，到神經(jīng)環(huán)路，到整個(gè)大腦的結(jié)構(gòu)，都和電子器件做了對比。文章題目叫《Bridging Biological and Artificial Neural Networks》，發(fā)表在2019年的Advanced Materials上面，如果大家感興趣可以讀這個(gè)文章。

展望未來，希望能夠做一個(gè)存算一體的計(jì)算機(jī)系統(tǒng)。以前是晶體管加布爾邏輯加馮·諾依曼架構(gòu)，現(xiàn)在是模擬型憶阻器加模擬計(jì)算和存算一體的非馮架構(gòu)。

前面兩位嘉賓介紹的是神經(jīng)科學(xué)怎樣啟發(fā)做新的器件，我來介紹AI的發(fā)展怎么促進(jìn)神經(jīng)科學(xué)的研究，主要是講從AI到BI（Brain Intelligence）的兩個(gè)小工作。

首先看一下背景。視覺系統(tǒng)通路是個(gè)層級結(jié)構(gòu)，信息從視網(wǎng)膜到LGN到腦皮層。聽覺皮層也是一個(gè)層次化結(jié)構(gòu)，信息從耳蝸一直傳到聽覺皮層。所以大家熟悉的人工神經(jīng)網(wǎng)絡(luò)，和視覺、聽覺系統(tǒng)有一定的相似性，至少它們都是層次化的結(jié)構(gòu)。基于這種相似性，我們是不是可以利用現(xiàn)在神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展，來促進(jìn)我們對大腦的視覺、聽覺或者其他感覺皮層工作機(jī)制的理解？

這方面比較早期的一個(gè)工作是用CNN去訓(xùn)練一個(gè)圖片分類模型，然后把同樣的圖片給猴子看，記錄猴子不同的視覺區(qū)域（比如V4和IT這兩個(gè)區(qū)域）神經(jīng)元的發(fā)放，最后比較神經(jīng)網(wǎng)絡(luò)不同層和猴子的不同皮層（比如V4和IT這兩個(gè)區(qū)域）神經(jīng)元的相關(guān)性。發(fā)現(xiàn)不同神經(jīng)網(wǎng)絡(luò)層正好對應(yīng)猴子IT、V4區(qū)域反應(yīng)的特點(diǎn)。這是第一次證明神經(jīng)網(wǎng)絡(luò)和神經(jīng)科學(xué)、大腦視覺皮層有一定的關(guān)聯(lián)。

接下來介紹一個(gè)神經(jīng)科學(xué)的發(fā)現(xiàn)。2013年紐約大學(xué)做了一個(gè)實(shí)驗(yàn)，讓猴子去看兩種不同的圖片，第一種是把自然圖片通過一種方法合成為比較像自然圖片的圖片（這類圖片與自然圖片含有類似的復(fù)雜的統(tǒng)計(jì)特性），第二種是噪聲圖片（這類圖片與自然圖片含有類似的能量譜）。發(fā)現(xiàn)V1的神經(jīng)元對這兩類圖片的反應(yīng)差不多，但是V2區(qū)域神經(jīng)元對于第一類的圖片反應(yīng)會(huì)高一些。

他們定義了一個(gè)Modulation Index，神經(jīng)元的Index如果越高，就說明這個(gè)神經(jīng)元越喜歡比較像自然圖片的這類圖片。在V1區(qū)域，所有的神經(jīng)元的Modulation Index都集中在0附近，在0左右對稱。在V2，大部分神經(jīng)元的Modulation Index都是正的。2015年日本的一個(gè)研究小組在猴子的V4區(qū)域發(fā)現(xiàn)了同樣的結(jié)論。V4的神經(jīng)元相對V1來講，更喜歡具有高階統(tǒng)計(jì)特性的比較像自然圖片的圖片。

為什么V2和V4的神經(jīng)元喜歡像自然圖片的圖片，而不是噪聲圖片？我們構(gòu)建了一個(gè)標(biāo)準(zhǔn)的深度學(xué)習(xí)模型來研究，用同樣的方式從自然圖片中創(chuàng)造出兩類圖片，然后輸入到模型里面記錄每一層神經(jīng)元的反應(yīng)。結(jié)果非常有意思，分三塊，第一塊是AlexNet，第二塊是VggNet，第三塊是SHMAX。前兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)大家非常熟悉，我們把這兩個(gè)神經(jīng)網(wǎng)絡(luò)分成五大層，AlexNet本身就有五個(gè)卷積層；Vgg以max pooling層為界把相鄰的幾個(gè)卷積層分成一個(gè)大層，所以也有五個(gè)層。我們發(fā)現(xiàn)，隨著層數(shù)越高，Modulation Index就越高，到了第五層大部分神經(jīng)元特別喜歡含有高階統(tǒng)計(jì)特性的比較像自然圖片的圖片。SHMAX的結(jié)構(gòu)跟上面兩個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)基本是一樣的，唯一區(qū)別是它的學(xué)習(xí)是一種逐層無監(jiān)督學(xué)習(xí)，但我們可以得到一樣的結(jié)論。

也就是說對于有監(jiān)督學(xué)習(xí)模型和無監(jiān)督學(xué)習(xí)模型，他們的Modulation Index都是隨著層數(shù)的增加而增高的。是什么樣的因素導(dǎo)致這些神經(jīng)網(wǎng)絡(luò)具有這樣的特性？我們發(fā)現(xiàn)Response sparseness非常重要，它跟Modulation Index成正相關(guān)的關(guān)系。Sparseness是指看過很多圖片后，有多大比例的神經(jīng)元是不發(fā)放的。隨著層數(shù)增加，Sparseness會(huì)越來越強(qiáng)，正好跟Modulation Index趨勢差不多。我們對AlexNet每一層的稀疏性做了修改，發(fā)現(xiàn)稀疏性越高，Modulation Index也會(huì)越高；SHMAX也是一樣。

簡單總結(jié)，我們在三個(gè)深度學(xué)習(xí)模型上發(fā)現(xiàn)和猴子視覺皮層高層反應(yīng)特點(diǎn)類似的一個(gè)結(jié)論。

第二個(gè)工作是一個(gè)關(guān)于聽覺的工作。聽覺皮層也是層次化的結(jié)構(gòu)，人們在聽覺通路上也發(fā)現(xiàn)了很多有意思的結(jié)果，比如在耳蝸后有一個(gè)聽覺神經(jīng)纖維，受到刺激后反應(yīng)呈小波的形式。在下丘這個(gè)地方，神經(jīng)元的感受野是可以測出來的，并表示為時(shí)頻圖。在比較高層的聽覺皮層里，有很多神經(jīng)元可以特異性地對一些音素比較喜歡。比如“ba”里面有輔音“b”和元音“a”，這些元音輔音又叫音素。

計(jì)算機(jī)科學(xué)已經(jīng)用Sparse coding解釋了耳蝸和下丘兩個(gè)區(qū)的神經(jīng)元的反應(yīng)情況，這時(shí)候Sparse coding模型的輸入不再是圖片而是語音，最后解出來是每個(gè)神經(jīng)元的感受野，就長成小波的形式。神經(jīng)科學(xué)家已經(jīng)發(fā)現(xiàn)下丘區(qū)的神經(jīng)元的感受野的形狀就是長這樣。前面兩層級的神經(jīng)元反應(yīng)特點(diǎn)已經(jīng)被解釋了，第三層級（最高層）的這個(gè)現(xiàn)象怎么解釋呢？在給做手術(shù)的病人插電極實(shí)驗(yàn)中發(fā)現(xiàn)，有些電極特別喜歡輔音，有些電極喜歡摩擦音，還有的喜歡元音。也就是說人類神經(jīng)元對音素有特異化的表達(dá)，這種表達(dá)是怎么出現(xiàn)的呢？這是我們要回答的問題。還有一個(gè)問題是，比較低的皮層能用Sparse coding解釋他們的現(xiàn)象，那Sparse coding模型能不能解釋高層的現(xiàn)象呢？

為了回答這兩個(gè)問題，我們做了一個(gè)層次化的稀疏編碼模型，這是一個(gè)典型的CNN結(jié)構(gòu)，只不過每一層的學(xué)習(xí)不再用BP算法，而是用Sparse coding，第一層學(xué)習(xí)完以后再學(xué)習(xí)第二層，第二層學(xué)完以后再學(xué)第三層，就這樣從底層一直到高層進(jìn)行學(xué)習(xí)。

有意思的是，構(gòu)建了這樣的層次化的稀疏編碼模型后，我們把靠中間的層拿出來（比如第二卷積層），將這個(gè)地方的神經(jīng)元的感受野畫出來，可以看到這個(gè)感受野和神經(jīng)科學(xué)家測出來的下丘神經(jīng)元有類似的形狀，這些感受野其他的分布的參數(shù)也和貓的下丘部位測的參數(shù)分布是一致的。最有意思的是到頂層以后，我們發(fā)現(xiàn)頂層（第六個(gè)max pooling 層）很多神經(jīng)元特異性地喜歡一類音素，而且這個(gè)聚集效應(yīng)在頂層最明顯。在下面這些層也有，只不過這個(gè)效應(yīng)低一些。所以說這個(gè)模式并不是陡然在這上面出現(xiàn)的，其實(shí)下面的層級也出現(xiàn)了，只不過神經(jīng)科學(xué)家們沒有測到下面那些區(qū)域神經(jīng)元有這樣的表達(dá)，當(dāng)然這是我們的推測。

總結(jié)一下，我們發(fā)現(xiàn)一些深度學(xué)習(xí)模型在中層和高層的神經(jīng)元的反應(yīng)，和視覺、聽覺的中層、高層的真實(shí)的神經(jīng)元的反應(yīng)有一定的一致性。我們并沒有嘗試擬合生理學(xué)的數(shù)據(jù)，但是就是出現(xiàn)了這樣的特性，所以我們覺得這樣的結(jié)果還是非常有意思。第二個(gè)結(jié)論是關(guān)于稀疏編碼，前面的這些深度學(xué)習(xí)模型都有一個(gè)稀疏發(fā)放的特點(diǎn)，而稀疏發(fā)放的特點(diǎn)和神經(jīng)生理學(xué)發(fā)現(xiàn)的一些特點(diǎn)呈正相關(guān)的關(guān)系。

山世光：腦科學(xué)已經(jīng)為AI發(fā)展提供了什么思想、方法和技術(shù)？有哪些典型案例？

吳華強(qiáng)：案例有一個(gè)，就是樹突計(jì)算的工作。過去神經(jīng)網(wǎng)絡(luò)里只有神經(jīng)元和突觸，樹突在神經(jīng)網(wǎng)絡(luò)里面不體現(xiàn)。但是最近我們的研究發(fā)現(xiàn)有一類憶阻器，和突觸不一樣，有積分功能和過濾功能，這和樹突的功能有點(diǎn)相似。那么神經(jīng)網(wǎng)絡(luò)是不是可以引入一個(gè)新的樹突元件？這和多加一層神經(jīng)元不一樣，多加一層神經(jīng)元就要多加一層權(quán)重，而樹突其實(shí)和神經(jīng)元是緊密結(jié)合的，一個(gè)神經(jīng)元有很多個(gè)樹突，是固定連接。如果引入樹突，會(huì)不會(huì)讓我們整個(gè)計(jì)算更加高效，更加準(zhǔn)確？

山世光：剛才猜測樹突是不是有濾波的功能，過去我們說MCP的神經(jīng)元模型里面是一個(gè)積分，這樣是不是相當(dāng)于對每一路的輸入又有又加了一層濾波？

吳華強(qiáng)：器件可以對它進(jìn)行過濾，我介紹的那個(gè)器件并不是百分之百把樹突功能都模仿了，而是受其啟發(fā)。

畢國強(qiáng)：華強(qiáng)老師說的樹突計(jì)算非常有意思，這里取得的效能提升是由于什么原因？是不是因?yàn)闃渫坏臑V波性質(zhì)或樹突本身的構(gòu)架？一般人工神經(jīng)網(wǎng)絡(luò)的構(gòu)架中每個(gè)突觸的基本性質(zhì)是一樣的，樹突架構(gòu)可能引入了異質(zhì)性。另外，樹突結(jié)構(gòu)本身層級結(jié)構(gòu)的復(fù)雜性也可能會(huì)對最終的計(jì)算能力有一些影響。關(guān)于異質(zhì)性這一點(diǎn)， STDP應(yīng)用到人工神經(jīng)網(wǎng)絡(luò)的效果一直不是特別好，一個(gè)可能的原因就是因?yàn)楫愘|(zhì)性。所以華強(qiáng)的這個(gè)探索，把樹突結(jié)構(gòu)加進(jìn)去，我覺得非常值得進(jìn)一步看到底是進(jìn)去了哪些特征，產(chǎn)生了這些性能的提升或者改變。

從另一個(gè)哲學(xué)層次上來說，生物的神經(jīng)系統(tǒng)是很多年進(jìn)化的結(jié)果，是經(jīng)過自然選擇、證明能夠可行的。但這里面又有多個(gè)尺度的復(fù)雜性，從最小尺度上，即使只是突觸這樣不到一微米大小的設(shè)備，也有很多不一樣的地方，然后到環(huán)路、到整個(gè)大腦的結(jié)構(gòu)，都有這樣的復(fù)雜性。我們怎么樣去模仿或者從中獲得啟發(fā)，很關(guān)鍵的一點(diǎn)是，我們要分析出來是哪些特征、特性能夠?qū)I起到一些正面的作用。我覺得短時(shí)間內(nèi)要全面地模仿大腦肯定是不現(xiàn)實(shí)的，所以我們需要從復(fù)雜的層級結(jié)構(gòu)中抽出關(guān)鍵特性一步一步模仿。

胡曉林：其實(shí)AI里有很多工作是從腦科學(xué)啟發(fā)過來的。可以追溯到1943年，McCulloch和Pitts這兩個(gè)人第一次提出人工神經(jīng)元。他們其實(shí)是做神經(jīng)科學(xué)的，嘗試發(fā)明計(jì)算模型去解釋大腦的工作，所以他們提出一種邏輯運(yùn)算單元。在1990年左右的時(shí)候，有一種和現(xiàn)在CNN的結(jié)構(gòu)一模一樣的結(jié)構(gòu)被提出，叫做Neocognitron，唯一區(qū)別是學(xué)習(xí)方法不一樣。它是受到一個(gè)神經(jīng)科學(xué)的發(fā)現(xiàn)的啟發(fā)。在貓的視覺皮層有簡單細(xì)胞、復(fù)雜細(xì)胞兩種細(xì)胞，這個(gè)工作從這兩種細(xì)胞的特點(diǎn)出發(fā)，構(gòu)建模型嘗試去解釋大腦是怎么識(shí)別物體的。后來才發(fā)展到CNN。這是兩個(gè)非常具有里程碑意義的事件，這是很典型的神經(jīng)科學(xué)給我們AI的啟發(fā)，甚至革命性的工作。

畢彥超：聽到剛才大家講的借鑒的大多都是在實(shí)現(xiàn)層面（implementation）的，我覺得對于這兩個(gè)基本實(shí)現(xiàn)物質(zhì)基礎(chǔ)完全不同的智能系統(tǒng)，在計(jì)算（computation）和算法（algorithm）的層面上，也有很多可以參考的地方。我會(huì)覺得認(rèn)知神經(jīng)科學(xué)或者認(rèn)知心理學(xué)是一個(gè)寶藏。剛才吳老師也提到，在視覺加工的時(shí)候，至少人腦和猴腦的視覺絕對不僅僅是識(shí)別，貼個(gè)標(biāo)簽就可以了。它是為了生物的生存、繁衍、規(guī)避、社交等等。人的認(rèn)知往往不是特定的單一目標(biāo)，而現(xiàn)在AI的計(jì)算很多是特定的目標(biāo)。

山世光：我們剛才討論了AI需要腦科學(xué)回答的問題，比如認(rèn)知、理解知識(shí)等等?，F(xiàn)在我們從另外一個(gè)反面看一下AI怎么助力腦科學(xué)的發(fā)展？

吳思：要看我們怎么定義AI。如果把AI泛泛的說是信息理論、動(dòng)力學(xué)系統(tǒng)分析、統(tǒng)計(jì)學(xué)習(xí)等，那么這些都是在計(jì)算神經(jīng)科學(xué)里天天使用的工具，它們一直在助力腦科學(xué)的發(fā)展。如果一定要強(qiáng)調(diào)最新的助力，比如說深度學(xué)習(xí)，那么如何將AI用于腦科學(xué)是目前的一個(gè)研究熱點(diǎn)。國際上有多個(gè)組，也包括清華的胡曉林老師，大家把視覺系統(tǒng)當(dāng)成一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)，然后訓(xùn)練這個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)，同時(shí)加入一些生物學(xué)的約束，然后用對比的方法看這個(gè)系統(tǒng)能學(xué)習(xí)到什么，進(jìn)而回答生物視覺認(rèn)知的問題。

唐華錦：我補(bǔ)充一下吳思老師講的。傳統(tǒng)AI提供了很重要的大數(shù)據(jù)分析工具，尤其是在高通量的腦成像方面，建立非常精細(xì)的腦模型。還有實(shí)時(shí)的腦活動(dòng)的分析上，比如斑馬魚的活動(dòng)，如何實(shí)時(shí)記錄以及把這些神經(jīng)元的活動(dòng)匹配到那些神經(jīng)元上，這是大量AI深度學(xué)習(xí)幫助腦科學(xué)家在分析數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)。包括三維重建，包括樹突、軸突之間連接的結(jié)構(gòu)，AI也會(huì)起到非常重要的作用，AI還是提供了很好的深入解釋工具。

胡曉林：我也接著吳思老師剛才的觀點(diǎn)和大家分享?，F(xiàn)在國際有一個(gè)熱點(diǎn)，用深度學(xué)習(xí)的方式去研究深度模型能不能出現(xiàn)以前在生物學(xué)實(shí)驗(yàn)當(dāng)中的結(jié)果。我想說的是，這只是第一步，我們首先要來看一下深度學(xué)習(xí)模型是不是具有這樣的特點(diǎn)，如果具有這樣的特點(diǎn)，那么能干什么。其實(shí)，深度學(xué)習(xí)模型是人自己構(gòu)造的，這個(gè)模型所有神經(jīng)元都可以測，不像生物體會(huì)受到實(shí)驗(yàn)條件限制，有些地方測不到。如果有了一個(gè)等價(jià)模型，在等價(jià)的人工智能模型上做一些實(shí)驗(yàn)和解釋，做一些原理性的探索，會(huì)比在動(dòng)物那種“黑箱”上做更容易一些。

MIT的DiCarlo組對這個(gè)問題有一個(gè)更進(jìn)一步的工作。在猴子的高級皮層，神經(jīng)科學(xué)家很難用一個(gè)自然的刺激讓這些神經(jīng)元以很大的發(fā)放率去發(fā)放信號，越高層就越難。為解決這個(gè)問題，他們先構(gòu)造了一個(gè)CNN神經(jīng)網(wǎng)絡(luò)，然后把中間的L3層取出來，和猴子V4區(qū)域的神經(jīng)元反應(yīng)做簡單的映射，學(xué)出這個(gè)映射之后，他們把貓照片的視覺刺激，通過人工神經(jīng)網(wǎng)絡(luò)的L1、L2、L3，傳到V4腦區(qū)構(gòu)成通路，構(gòu)成真正的生物系統(tǒng)中貓照片通過V1、V2、V3最后傳到V4的生物通路的一個(gè)替代模型。然后他們通過神經(jīng)網(wǎng)絡(luò)BP算法反求一個(gè)刺激，使得V4區(qū)的神經(jīng)元反應(yīng)最大。然后再把這些刺激給猴子看，發(fā)現(xiàn)V4區(qū)的神經(jīng)元反映遠(yuǎn)遠(yuǎn)超出以前用任何刺激所帶來的發(fā)放率，也就是說如果不用他們這種反求的方式去做刺激，用自然數(shù)據(jù)是很難讓這個(gè)神經(jīng)元發(fā)放這么強(qiáng)烈的。這個(gè)就解決了他們做生理學(xué)實(shí)驗(yàn)的一個(gè)痛點(diǎn)。我和做聽覺的老師聊過，他們在猴子的聽覺皮層發(fā)現(xiàn)大部分神經(jīng)元都是不反應(yīng)的，很多人覺得猴子的聽覺神經(jīng)元不是干聽覺這件事的，很多人想不通為什么這樣，我覺得可能是我們沒有找到合適的刺激。

畢彥超：DNN很多時(shí)候能在一定程度上模擬的大腦，并不等于真實(shí)神經(jīng)就是這樣的。所以我會(huì)特別強(qiáng)地要求去多找一些不同的模型來對比，才能更好地評估大腦，才有可能為理解添更多的證據(jù)。

畢國強(qiáng)：從基本的大數(shù)據(jù)分析到更高層次對大腦的模擬，AI在腦科學(xué)研究中能起到很多助力作用。人工神經(jīng)網(wǎng)絡(luò)在對大腦進(jìn)行模擬時(shí)，只是模擬神經(jīng)系統(tǒng)的最基本的性質(zhì)，比如神經(jīng)元和突觸連接。用簡單的性質(zhì)來模擬大腦肯定有它的局限，不過能夠得到一些似乎和大腦里面發(fā)生的東西類似的現(xiàn)象，這確實(shí)反映了非常根本的一些機(jī)制，但是很可能很多事情是沒有辦法用目前的人工神經(jīng)網(wǎng)絡(luò)來解釋的。這時(shí)候需要進(jìn)一步的計(jì)算神經(jīng)科學(xué)的模擬，像剛才吳思提到AI和計(jì)算神經(jīng)科學(xué)沒有本質(zhì)上的嚴(yán)格邊界，可以用這種更深層次的模擬，來解釋和發(fā)現(xiàn)神經(jīng)系統(tǒng)真正的行為，然后可以再反過來看哪些性質(zhì)是哪些行為必須的。當(dāng)然最后這還是一個(gè)大腦理解大腦的復(fù)雜性問題。   

山世光：深度學(xué)習(xí)和大腦這兩個(gè)黑盒子怎么互相對比？能不能把這個(gè)黑盒子打開？我個(gè)人理解觀點(diǎn)是這有點(diǎn)像雞和蛋，但它是可以互動(dòng)的，這邊進(jìn)步一點(diǎn)，那邊也跟著進(jìn)步一點(diǎn)?，F(xiàn)在不是哪個(gè)是白的，另一個(gè)馬上就可以解開了。

山世光：腦科學(xué)研究需要什么樣的AI技術(shù)來解決什么樣的前沿腦科學(xué)問題？

吳思：我特別期望神經(jīng)形態(tài)的發(fā)展能助力腦科學(xué)的發(fā)展。比如說唐華錦老師和吳華強(qiáng)老師他們講的東西。我們研究腦科學(xué)，提出了各種模型和機(jī)制后，如果能有一個(gè)類腦的硬件系統(tǒng)驗(yàn)證一下，就能更好的證明這個(gè)機(jī)制和模型是否在生物學(xué)上是合理的，能否能在AI中得到應(yīng)用。   

山世光：如何培養(yǎng)更多AI+腦科學(xué)交叉研究的人才？

畢國強(qiáng)：這實(shí)際上是一個(gè)很大的挑戰(zhàn)，因?yàn)樾枰獙蓚€(gè)學(xué)科有充分的把握。而這兩個(gè)學(xué)科都是很難的學(xué)科，不管是計(jì)算機(jī)科學(xué)，還是神經(jīng)生物學(xué)，而且中間重疊的部分不多。最關(guān)鍵的是要鼓勵(lì)青年人要真正追求自己的興趣，你如果感覺大腦很神奇或者AI很神奇，你真的想研究它們、理解它們，那就只好花別人雙倍的力氣把這兩個(gè)學(xué)科都學(xué)好，這是最重要的。

我們課程設(shè)置上，不同專業(yè)間的壁壘還是很大的。生物系和計(jì)算機(jī)系這兩個(gè)學(xué)科的要求差別非常大，這時(shí)候需要設(shè)計(jì)真正的交叉學(xué)科的課程體系，也是很有挑戰(zhàn)性的。

畢彥超：跨學(xué)科有很多特別不容易溝通的地方，雖然用同樣的詞，其實(shí)大家還是固守一些成見，按照自己學(xué)科的思路去想。腦科學(xué)很多是科學(xué)的思維，AI很多是工程思維，在溝通過程中會(huì)碰到一些壁壘，這時(shí)候怎么更開放思路，思考背后大家真正關(guān)心的大問題，而不是當(dāng)前具體某個(gè)名詞或者小問題的完全對應(yīng)，特別的重要。

山世光：今天早上在看心理所要設(shè)計(jì)一門人工智能的課，我就在想這個(gè)人工智能的課誰來講、講什么，對他們來講前面沒有計(jì)算機(jī)編程課？上來就給心理所的人講人工智能，確實(shí)課程體系建設(shè)方面有非常多的地方需要努力。

胡曉林：如果沒有編程基礎(chǔ)，上來就講人工智能確實(shí)是很難。如果在信息科學(xué)院開設(shè)腦科學(xué)是不是相對比較容易？因?yàn)閷W(xué)神經(jīng)科學(xué)可能不需要特別系統(tǒng)的，像數(shù)學(xué)、編程那樣要經(jīng)過好幾年的培養(yǎng)。在我的課題組，我鼓勵(lì)同學(xué)們做一些腦科學(xué)的事兒，但目前為止不是特別成功?，F(xiàn)在計(jì)算機(jī)信息學(xué)科的學(xué)生更加關(guān)注的還是AI，偏純AI多一點(diǎn)，偏技術(shù)本身。這是另一個(gè)方面的困難。

唐華錦：浙大這邊新招的人工智能專業(yè)本科生設(shè)置AI+腦科學(xué)的交叉課程，在推動(dòng)培養(yǎng)新一代的AI+腦科學(xué)方面的交叉人才上已經(jīng)在布局，相信清華、北大也有類似課程的設(shè)計(jì)。  

山世光：大腦如何完成學(xué)習(xí)-記憶融合的？

唐華錦：這涉及到我們對記憶的理解問題。記憶通過神經(jīng)元的群組編碼實(shí)現(xiàn)。比如對某個(gè)概念，必須有一組神經(jīng)元對這個(gè)概念進(jìn)行表述，這組神經(jīng)元就要學(xué)習(xí)對這個(gè)概念進(jìn)行響應(yīng)，加強(qiáng)這組神經(jīng)元之間的連接。如果這個(gè)概念和另一個(gè)概念之間存在聯(lián)想關(guān)系，不同的神經(jīng)元群組間要形成一個(gè)新連接，這個(gè)連接要把不同概念聯(lián)系起來。因此群組內(nèi)的神經(jīng)元連接以及群組間的神經(jīng)元連接都要通過學(xué)習(xí)的方式實(shí)現(xiàn)，要么通過無監(jiān)督STDP學(xué)習(xí)規(guī)則，要么通過有監(jiān)督的方式，來實(shí)現(xiàn)學(xué)習(xí)和記憶的融合。

山世光：如果就一個(gè)神經(jīng)元來講，它如何做到“學(xué)”和“記”一體，現(xiàn)在的MCP模型是沒有記憶力的。

吳華強(qiáng)：突觸會(huì)通過學(xué)習(xí)不斷變化，電子突觸器件也是一樣的。比如現(xiàn)在存的值是10歐姆，學(xué)習(xí)之后把它變成12歐姆或者9歐姆也是可以的，通過變化就實(shí)現(xiàn)了它的記憶。一個(gè)芯片要做的比較智能的話，集成度是比較關(guān)鍵的。比如在10個(gè)突觸的情況下，每個(gè)的變化、參數(shù)離散性都會(huì)大幅度影響系統(tǒng)準(zhǔn)確率，但如果芯片集成10億個(gè)器件，那其實(shí)單個(gè)器件就不會(huì)有太大影響。這塊要找數(shù)學(xué)理論家合作，在理論上怎么證明器件的離散和整個(gè)網(wǎng)絡(luò)的準(zhǔn)確率的關(guān)系。

山世光：憶阻器交叉陣列相乘后，電流需要ADC轉(zhuǎn)換嗎？如果轉(zhuǎn)換的話，ADC是否會(huì)占用大量時(shí)間？現(xiàn)在激活函數(shù)是靠軟件實(shí)現(xiàn)還是已經(jīng)有硬件實(shí)現(xiàn)？

吳華強(qiáng)：憶阻器陣列可以做乘加。電流總得來說是需要ADC轉(zhuǎn)換的，但是如果每個(gè)陣列都做ADC轉(zhuǎn)化的話，成本有點(diǎn)高，芯片里面時(shí)間其實(shí)是很快的，都是納秒級計(jì)算，比大腦快多了。更關(guān)鍵的是，用了很多ADC會(huì)使得芯片面積比較大，導(dǎo)致它的能耗比較高，所以我覺得一部分可以做模擬信號傳遞，一部分可以做數(shù)字信號傳遞。激活函數(shù)可以通過硬件實(shí)現(xiàn)，我們現(xiàn)在做的函數(shù)是用CMOS去做的，但是也有人單個(gè)器件去做激活函數(shù)的事情，用新的器件去做。我們是要把它集成更大規(guī)模的芯片，所以我們用CMOS去做。

完整跑一個(gè)AlexNET，能效比有多少？跑完整的AlexNET我們還沒有跑，下個(gè)芯片我們會(huì)做這個(gè)事情。我們之前做的芯片集成度規(guī)模只有幾十萬個(gè)規(guī)模，下一個(gè)芯片的規(guī)模大概幾百萬，再下個(gè)芯片達(dá)到更大規(guī)模。在幾百萬規(guī)模下就可以跑AlexNET，目前我們的仿真結(jié)果還可以，但是還需要在芯片上跑出來。

憶阻器只負(fù)責(zé)實(shí)現(xiàn)基本矩陣計(jì)算么？是不是還要配合其他方式進(jìn)行輸入輸出？目前憶阻器的算法只有乘法和加法，整個(gè)計(jì)算特別適合做矩陣計(jì)算。要配合別的輸入輸出，還有存儲(chǔ)和編碼這都是需要的。而且從硬件上來講，陣列是固定的，算法是千變?nèi)f化的，需要用編譯器或者算法支持去把千變?nèi)f化的網(wǎng)絡(luò)層映射到固定陣列上。

山世光：好奇心是如何產(chǎn)生的？它內(nèi)在的機(jī)制是什么，有沒有辦法度量它？   

畢彥超：主流的認(rèn)知神經(jīng)科學(xué)上目前沒有很好的回答。首先從對嬰兒、兒童的研究上可以看到，人們對新異刺激有天生本能好奇。第二點(diǎn)就是人對事情的答案有一個(gè)基本的好奇心。這點(diǎn)不光是人，貓也是很好奇的。所以我想對于生物體進(jìn)化過程當(dāng)中對于外部刺激的反應(yīng)，有可能是生存繁衍一個(gè)很重要的進(jìn)化的東西，所有的生物體是不是有一種比較基本的好奇心，是什么樣的時(shí)間范式，怎么去實(shí)現(xiàn)，是不是有不同種類的好奇心，我自己不知道。

胡曉林：這是不是和神經(jīng)科學(xué)的一個(gè)理論相關(guān)，叫predictive coding。它的基本理論是說人對于外在世界會(huì)有一個(gè)預(yù)測，但如果實(shí)際刺激或者實(shí)際發(fā)生的事情和預(yù)測不吻合，就會(huì)有一個(gè)偏差，人會(huì)關(guān)注那個(gè)偏差。

畢彥超：如果把好奇心定義為要時(shí)刻關(guān)注外面的世界，進(jìn)行預(yù)測，才能實(shí)現(xiàn)實(shí)際有效的識(shí)別和交互。那我覺得有可能有關(guān)系。

山世光：能不能介紹一下人腦是如何進(jìn)行多模態(tài)融合的？

吳思：多模態(tài)信息整合是我們大腦的一個(gè)基本功能。人為什么有五官？實(shí)際上它們是我們從不同的物理、化學(xué)和聲音等信號來感知這個(gè)外界世界，這些信號需要在大腦里有效地融合起來。從數(shù)學(xué)角度說，多模態(tài)信息整合的最好算法是貝葉斯推理。有意思的是，行為上已經(jīng)證明大腦能做數(shù)學(xué)上優(yōu)化的貝葉斯多模態(tài)信息整合，在神經(jīng)數(shù)據(jù)上猴子實(shí)驗(yàn)也有證明，在計(jì)算模型上也得到了驗(yàn)證。我們最近做了一個(gè)模型工作來解釋其機(jī)理。基本的思想是各個(gè)腦區(qū)有分工，分別負(fù)責(zé)處理視覺信號、聽覺信號等，但同時(shí)這些腦區(qū)之間又有連接，這些連接編碼不同信號之間關(guān)聯(lián)的先驗(yàn)知識(shí)。這樣多個(gè)腦區(qū)間通過信息交流，最終以并行分布的方式實(shí)現(xiàn)了優(yōu)化的多模態(tài)信息整合。

山世光：神經(jīng)科學(xué)里有從兒童發(fā)展或者跨物種比較的角度來研究學(xué)習(xí)是如何動(dòng)態(tài)的塑造大腦神經(jīng)網(wǎng)絡(luò)的，比如小孩的大腦可能更接近全連接，后面逐漸被選擇性的消除掉一些連接。這樣一種模式對計(jì)算會(huì)不會(huì)有幫助？

畢彥超：有很多人關(guān)注這方面，至于對AI的借鑒的程度我不知道，我會(huì)覺得是一個(gè)寶藏。首先從嬰兒認(rèn)知的發(fā)展上，人們發(fā)現(xiàn)很多有趣的現(xiàn)象，比如機(jī)器在小數(shù)據(jù)情況下學(xué)習(xí)一個(gè)詞可能很難，而小孩在語言爆發(fā)期只要聽到一個(gè)詞一次就可以學(xué)會(huì)。但是發(fā)展心理學(xué)家已經(jīng)發(fā)現(xiàn)只有在特定的互動(dòng)情景下小孩才學(xué)會(huì)，所以可以借鑒一下。人類嬰兒的大腦非常難研究，因?yàn)槲覀儾幌胍杂袚p的方式研究嬰兒。最近隨著無損的神經(jīng)影像的發(fā)展才開始有一些特別基本的認(rèn)知，開始的時(shí)候相對全連接，通過分析早產(chǎn)兒的大腦，發(fā)現(xiàn)是先去發(fā)展初級的感覺運(yùn)動(dòng)皮層，但隨著后來的發(fā)展，網(wǎng)絡(luò)當(dāng)中的樞紐在其他的例如額頂這些更高級的網(wǎng)絡(luò)再慢慢發(fā)展了。這些也是最近兩年隨著神經(jīng)影像發(fā)展，人們才剛剛知道一點(diǎn)。

山世光：突觸可塑性可以看成一種局部優(yōu)化規(guī)則，大腦是如何進(jìn)行全局學(xué)習(xí)和調(diào)控的？

畢國強(qiáng)：我們研究學(xué)習(xí)或者可塑性，一方面是看突觸本身發(fā)生的變化，另一方面我們希望知道在全局尺度上或者環(huán)路尺度上看這些可塑性是怎樣發(fā)生變化的。這也分多個(gè)層次，其中一個(gè)是在全局上看哪些突觸可以發(fā)生可塑性變化，這需要突觸前后神經(jīng)元的活動(dòng)，任何一個(gè)需要學(xué)習(xí)的內(nèi)容在整個(gè)網(wǎng)絡(luò)里面以不同的神經(jīng)元活動(dòng)表達(dá)出來的時(shí)候，就會(huì)有相應(yīng)的突觸發(fā)生變化。

另一方面，全局尺度上還有神經(jīng)調(diào)質(zhì)的作用，比如說情緒或者獎(jiǎng)勵(lì)的信號，受到獎(jiǎng)勵(lì)的時(shí)候，大腦里多巴胺系統(tǒng)會(huì)對整個(gè)網(wǎng)絡(luò)有一個(gè)比較全面的調(diào)控。調(diào)控的具體影響和還有待深入研究，但是一個(gè)可能是讓在這段時(shí)間受到影響的突觸的可塑性變化更容易。這樣就在全局尺度上可以把很多突觸的變化協(xié)調(diào)起來。

山世光：信息專業(yè)的學(xué)生如果希望自己入門腦科學(xué)相關(guān)內(nèi)容應(yīng)該從哪里入手？

畢國強(qiáng)：我自己入門的時(shí)候是讀一本《From Neuron to Brain》的書，當(dāng)然還有很多其他的教科書。讀的時(shí)候會(huì)碰到很多不太清楚的名詞，這時(shí)候一方面，網(wǎng)上資源這么多，可以很容易查。另一方面，有一些不懂的東西可以先擱在那兒，先把可以理解的東西理解了。

吳思：年輕學(xué)生要來學(xué)我們這個(gè)方向最好進(jìn)到一個(gè)課題組，然后多聽報(bào)告，參與做具體的課題，這樣才更有效。如果光看書，剛開始堅(jiān)持一個(gè)月還可以，你能堅(jiān)持一年嗎？而且你學(xué)的東西得不到應(yīng)用，你會(huì)很沮喪，你可能就放棄了。所以找一個(gè)合作課題是最佳的。

畢國強(qiáng)：很關(guān)鍵的一點(diǎn)是看個(gè)人的堅(jiān)持，你有多強(qiáng)烈的興趣和你想花多大的力氣。當(dāng)然提到花雙倍的力氣，很多人就有雙倍的力氣，這些人可能就適合做這件事情。

唐華錦：確實(shí)建議很好，要放在一個(gè)具體團(tuán)隊(duì)或者項(xiàng)目里去做，一個(gè)是提升你的成就感，不會(huì)學(xué)了一年之后感到很沮喪。中科院這一點(diǎn)做的很好，你們甚至強(qiáng)制要求人工智能和神經(jīng)科學(xué)蹲點(diǎn)。還有浙大，“雙腦”中心也是強(qiáng)調(diào)人工智能和神經(jīng)科學(xué)在一塊兒在一個(gè)團(tuán)隊(duì)。至少你要找兩個(gè)這樣的導(dǎo)師，然后去做這方面的工作，效果會(huì)很好。

畢彥超：我想提醒一下年輕的學(xué)生，跨學(xué)科交叉非常有趣。但我建議一定要有一個(gè)自己的base，要把某個(gè)方面要學(xué)透學(xué)好才有能力去交叉學(xué)科去深入，要不特別容易飄在表面上。

山世光：腦科學(xué)領(lǐng)域?qū)ΤＷR(shí)的研究，有哪些資料可以推薦？

畢彥超：我們近期有一篇文章要在Neuron發(fā)表，是第一次有直接的證據(jù)，通過看先天盲人對顏色的知識(shí)，在人腦發(fā)現(xiàn)有兩種不同機(jī)制的知識(shí)表征。我推薦給大家。

Wang, X., Men, W., Gao, J., Caramazza, A., & Bi, Y. (2020). Two Forms of Knowledge Representations in the Human Brain. Neuron, 107,

https://doi.org/10.1016/j.neuron.2020.04.010

山世光：人腦中是否存在誤差反向傳播？

唐華錦：回答是肯定的，一定是存在誤差反傳，比如說肯定有全局信號、獎(jiǎng)勵(lì)信號，只是反傳方式不一樣。傳統(tǒng)人工智能的反傳是基于梯度下降，但是在神經(jīng)科學(xué)里很難實(shí)現(xiàn)，因?yàn)橐髮ΨQ的傳播。我覺得是具體實(shí)驗(yàn)方式的不同，但是一定是存在的。如果對這個(gè)問題感興趣可以看最近一篇論文《Backpropagation and the brain》（Nature Reviews Neuroscience，2020）。