7月28-29日，由中國人工智能學(xué)會和深圳市羅湖區(qū)人民政府共同主辦，馬上科普承辦的“2018 中國人工智能大會（CCAI 2018）”完美收官。
大會第二天下午，中科院神經(jīng)科學(xué)所所長，中國科學(xué)院院士，美國國家科學(xué)院院士蒲慕明作題為《腦科學(xué)與類腦機器學(xué)習(xí)》的主題演講。
以下是根據(jù)速記整理的大會講座實錄。
蒲慕明 中科院神經(jīng)科學(xué)所所長，中國科學(xué)院院士，美國國家科學(xué)院院士
在近代神經(jīng)生物學(xué)上和腦科學(xué)上，最大的進(jìn)展就是：在19世紀(jì)中后期，法國醫(yī)生和科學(xué)家波卡（Broca）通過解剖失語癥病人，發(fā)現(xiàn)了Broca區(qū)。他是第一個給大腦功能定位的科學(xué)家。從他開始，腦科學(xué)家們逐漸認(rèn)識到不同腦區(qū)主管不同的功能。同時，各個腦區(qū)之間有高度的聯(lián)接，特別是側(cè)向聯(lián)接。高度的橫向連接在處理多感覺信息整合時具有優(yōu)勢。這也正是人工智能做多模態(tài)整合時需要解決的問題。
20世紀(jì)腦科學(xué)進(jìn)展主要是對于神經(jīng)元如何編碼、儲存和提取神經(jīng)信息的理解比較清楚。從20世紀(jì)初期到21世紀(jì)初，與神經(jīng)科學(xué)相關(guān)的諾貝爾獎得主都是在解決神經(jīng)元如何編碼、存儲和提取信息的，都是在細(xì)胞水平而不是網(wǎng)絡(luò)水平進(jìn)行研究。
神經(jīng)細(xì)胞都有局部環(huán)路和長程環(huán)路。一個功能的出現(xiàn)，必須要求神經(jīng)元環(huán)路中神經(jīng)元在適當(dāng)?shù)臅r候放電。腦網(wǎng)絡(luò)如何產(chǎn)生諸如知覺、情緒、思維、抉擇、語言等高等腦認(rèn)知功能？我們對此理解極為粗淺。
現(xiàn)在說起來腦科學(xué)的進(jìn)展，打一個比喻，相當(dāng)于物理學(xué)、化學(xué)在19世紀(jì)末和20世紀(jì)初的狀態(tài)，新的理論和關(guān)鍵技術(shù)還沒有出現(xiàn)的時候，這是腦科學(xué)現(xiàn)在的狀態(tài)。我們不要對腦科學(xué)有過度樂觀的期待。
歷史上人工智能出現(xiàn)了三次浪潮，每次往上的推動都是從神經(jīng)科學(xué)里得到的啟發(fā)。例如，McCulloch和Pitts在1943年提出MP神經(jīng)元模型，以及80年代Hopfield算法、BP算法。最近的深度網(wǎng)絡(luò)學(xué)習(xí)，它包括多個層次，每個層次具有不同的功能，這也是從視覺系統(tǒng)得到的啟發(fā)。
第一個是宏觀層次。通過核磁成像的技術(shù)可以得到粗略的神經(jīng)束的走向，但單單只了解神經(jīng)束的走向?qū)τ诶斫饽X功能并沒有太大貢獻(xiàn)。我們要進(jìn)一步了解大腦必須要達(dá)到神經(jīng)元水平。第二個就是介觀層面，空間分辨率要達(dá)到微米。用特殊方法來標(biāo)記不同的神經(jīng)元種類，了解不同神經(jīng)元的功能。介觀神經(jīng)連接圖譜是目前神經(jīng)科學(xué)的主要方向。第三個是微觀層面，微米到納米尺度。在微觀層面對神經(jīng)元軸突和樹突的分布以及突觸產(chǎn)生規(guī)律的研究可以得到很多有用信息的。
所有神經(jīng)元是通過電信號來傳遞信息，但是電波不能直接傳到下一個細(xì)胞。突觸前的信號造成化學(xué)物質(zhì)的釋放，會由于釋放的化學(xué)物質(zhì)不同可以造成突觸后細(xì)胞的激活性或抑制性電信號反應(yīng)。這樣就大大增加了神經(jīng)網(wǎng)絡(luò)處理信息的能力。
第一個難點就是每一種腦功能都有大量神經(jīng)元集群參與，簡單的視覺輸入就有百萬千萬的神經(jīng)元被激活。我們非常缺乏非干擾性大量觀測神經(jīng)元集群活動的技術(shù)。美國腦計劃主要就是在開發(fā)腦研究新技術(shù)，新技術(shù)主要是觀測技術(shù)，還有能夠分析大量神經(jīng)元動態(tài)信息的大數(shù)據(jù)分析方法。大數(shù)據(jù)分析不是盲目分析，我們需要有理論指導(dǎo)，用數(shù)據(jù)去檢測這個理論的準(zhǔn)確性。
可塑性是大腦認(rèn)知功能的基礎(chǔ)，可塑性使得大腦網(wǎng)絡(luò)形成新的狀態(tài)，就會產(chǎn)生新的行為。大腦是不斷在變的，每一個活動都引起功能和結(jié)構(gòu)的變化。Hebb（DonaldHebb是加拿大的心理學(xué)家）認(rèn)為：同步的電活動可造成突觸加強或穩(wěn)固。如果兩個神經(jīng)元同時發(fā)放，他們之間的突觸聯(lián)接就會加強；如果不同步，那么突觸前后的連接就會削弱。
可塑性的現(xiàn)象最早是由中國科學(xué)家馮德培發(fā)現(xiàn)。馮德培在英國拿到博士學(xué)位回國之后，在協(xié)和的生理系建立了實驗室，專門研究神經(jīng)肌肉接頭的功能。1946年，在他的系列論文的26篇中報告了一個現(xiàn)象：在神經(jīng)肌肉接頭的突觸，通過高頻的刺激，可以引起突觸后肌肉電活動的加強，這個加強長達(dá)十分鐘之久。突觸的效率因為電活動而改變，很快的幾秒鐘高頻刺激，產(chǎn)生的后果是十幾分鐘的突觸增強，這就是可塑性。馮德培1941年發(fā)現(xiàn)的現(xiàn)象，是可以拿諾貝爾獎的，但是馮德培先生90年代過世了。到20世紀(jì)70年代，人們才在中樞神經(jīng)系統(tǒng)中發(fā)現(xiàn)了類似的現(xiàn)象，被稱為長時程增強（LTP）和長時程減弱（LTD）。電活動過后，在腦網(wǎng)絡(luò)里留下了長期的痕跡，就是記憶，記憶就是儲存在神經(jīng)傳遞的效率變化之上。
突觸可塑性除了突觸效率的改變，還有突觸結(jié)構(gòu)的變化。為什么軸突不直接把信息送到樹突上而是傳遞到樹突棘上呢？其中原因一直沒有人知道。在耶魯大學(xué)做教授的時候，張香桐提出了一個假說：樹突棘（微小的突起）可以作為調(diào)節(jié)突觸傳遞效率的結(jié)構(gòu)。現(xiàn)在，學(xué)界公認(rèn)樹突棘可以作為調(diào)節(jié)突觸權(quán)重的結(jié)構(gòu)。
赫伯認(rèn)為改變連接強度就是儲存記憶——記憶儲存在網(wǎng)絡(luò)中，并不由單獨的位置儲存；把已經(jīng)儲存記憶的細(xì)胞群再激活，電活動再出現(xiàn)，記憶就會被提取。比如說我們從小時候開始，祖母面孔就不斷的激活我們的細(xì)胞，眼睛、嘴巴、鼻子等都會特定激活一群細(xì)胞，整個大細(xì)胞集群在祖母面孔出現(xiàn)時候集體放電。通過這個超級赫伯細(xì)胞群，我們長大了以后，只要看到祖母的眼睛，部分的細(xì)胞群激活了，就可以喚起祖母面孔的記憶。
赫伯細(xì)胞集群假說可以做進(jìn)一步補充。祖母是一個概念，這個概念包含了她的面孔，還包含了聲音、唱的歌、名字，我看到這些所有的特征，任何其中一個特征，都可以換起對整個祖母全部特征的反映。這個概念是一個超級超級細(xì)胞群，她唱的歌也許儲存在聽覺區(qū)，她的面孔在視覺區(qū)，味道在嗅覺區(qū)，這些信息在跟祖母相關(guān)的事情出現(xiàn)的時候，都會同步被激活。這是一種多腦區(qū)同步放電活動，是一種超級超級赫伯細(xì)胞群的放電。
各種信息如何整合產(chǎn)生一個整體？多年來流行的假說就是聚合型假說：各個組成的成分都在放電，它們都通過軸突輸入到另一個神經(jīng)元，該神經(jīng)元同時收到各個組合成分的神經(jīng)元信號，同時整合了這個信息。人們最早是在視皮層發(fā)現(xiàn)證據(jù)（這是Hubel和Wiesel得諾貝爾獎的工作）。在視皮層或者視網(wǎng)膜上能夠引起神經(jīng)元活動的區(qū)域我們稱為視覺感受野。從丘腦里面細(xì)胞的點狀感受野到視皮層整合成線狀。由點到線的整合就是一種信息捆綁。然而，還有其他的可能性，例如同步放電模型：各種組合成分的神經(jīng)元在某一信息出現(xiàn)后就一起放電，同步電活動本身活動就代表了整合信息。
在發(fā)育過程中，一個月的嬰兒并沒有什么網(wǎng)絡(luò)，在兩歲、三歲之間會生成很多的樹突和軸突，從而形成非常復(fù)雜的網(wǎng)絡(luò)。這是非常令人吃驚的現(xiàn)象，這就說明神經(jīng)元的基本結(jié)構(gòu)是基因決定的，但是網(wǎng)絡(luò)是在出生以后才建立的，出生以后是各種各樣的學(xué)習(xí)、經(jīng)驗在起作用。早期的修剪過程是非常重要的，早期修剪的太少可能是自閉癥，過多可能是精神分裂癥，所以網(wǎng)絡(luò)的修剪是正常網(wǎng)絡(luò)形成必要的一環(huán)，修剪不好就造成疾病。
突觸儲存記憶有兩種儲存方式：一種是改變突觸權(quán)重；另一種是突觸連接結(jié)構(gòu)的修飾——新的連接形成，原有連接的改變。大腦在發(fā)育期與成年期有不同的可塑性，大腦發(fā)育期有大幅度的神經(jīng)結(jié)構(gòu)修剪，使得新的突觸產(chǎn)生，經(jīng)驗是主導(dǎo)網(wǎng)絡(luò)修剪的主要因素；成熟大腦神經(jīng)網(wǎng)絡(luò)只有有限的可塑性，是在原有的突觸上增加一點效率，這是經(jīng)驗和記憶所必需的。每個人的網(wǎng)絡(luò)都不一樣，每個人的性格都不一樣，這是因為我們每個人的經(jīng)驗都不一樣，所以我們處理信息的方式都不一樣，這就是成熟網(wǎng)絡(luò)的表現(xiàn)。
赫伯認(rèn)為同時放電的神經(jīng)元連在一起，不同步放電就網(wǎng)絡(luò)連接，但是20年前出現(xiàn)了新的轉(zhuǎn)折——強化或者弱化不只是同步，而且有時序性。突觸前放電先于突觸后放電，突觸強化，反過來就弱化，這種有時序信息的現(xiàn)象我們稱為時序信息依賴的可塑性（STDP）。現(xiàn)在已經(jīng)有人在人工網(wǎng)絡(luò)上運用STDP。
我們可以做一個簡單的游戲，把貝多芬的《致愛麗斯》正序彈奏每個人都會聽出來，反過來彈卻沒人會聽出來是什么曲子，這是因為記憶是有時序性的。
Hopfield人工神經(jīng)網(wǎng)絡(luò)，每一個突觸點賦予某一權(quán)重，單元將所有輸入加合，各突觸的權(quán)重可以用赫伯學(xué)習(xí)法則調(diào)節(jié)。BP（反向傳播）算法可以用來學(xué)習(xí)說話，F(xiàn)rancisCrick對此作出了高度評價，在“The recent excitement about neural networks”文章中認(rèn)為BP算法非常驚人，但是也提出大腦中似乎沒有這種機制，大腦的是軸突的信息送到樹突的單向過程，而沒有反饋信息。幾年以后，我們通過記錄多個神經(jīng)元來驗證這種說法是否真實。我們發(fā)現(xiàn)突觸前神經(jīng)元內(nèi)存在逆向傳播和側(cè)向傳播，突觸后只有側(cè)向傳播，沒有前向傳播。軸突終端產(chǎn)生的LTP可以在突觸前神經(jīng)元往回傳，但不能往在突觸后往前傳，我們稱這種現(xiàn)象叫做naturalBP。現(xiàn)在在自動化所，我們將natural BP應(yīng)用到人工神經(jīng)網(wǎng)絡(luò)上面，希望對非監(jiān)督或者半監(jiān)督學(xué)習(xí)有點幫助。
1.可借鑒的自然神經(jīng)網(wǎng)絡(luò)特性
(1)神經(jīng)元的種類
興奮性和抑制性神經(jīng)元活動的平衡是正常網(wǎng)絡(luò)功能所必要的。
①突觸延遲（synaptic delay）在神經(jīng)環(huán)路中起關(guān)鍵作用。
②抑制性中間神經(jīng)元通常出現(xiàn)在興奮性輸入之后，可防止神經(jīng)元過度興奮，可消除脈沖序列（spiketrain）的尾巴以提高信息的時間精確度（temporal precision），可通過抑制旁側(cè)的神經(jīng)元的興奮性以增加對比信息的空間精確度（spatialprecision）。
(2). 多方向（順向、逆向、側(cè)向）的神經(jīng)連接
連接不只有一個方向，大多數(shù)的連接是正向的，也有逆向的，也有側(cè)向的，而且興奮性和抑制性神經(jīng)元都有多方向的聯(lián)接，而且是有空間和神經(jīng)元種類特異性的聯(lián)接。
(3).神經(jīng)突觸的可塑性
①突觸的功能有可塑性：傳遞效率的增強與消弱(LTP/LTD)； 可依賴于突觸前后神經(jīng)元同步電活動的頻率，也可依賴于突觸前后神經(jīng)元電活動時序(STDP)。
②突觸結(jié)構(gòu)可塑性：包括樹突棘的形態(tài)變化，和突觸的新生(formation)與修剪 (pruning）。
③突觸可塑性的傳播; LTP和LTD的有序傳播：包括逆向轉(zhuǎn)播（Back-Propagation），突觸效率可減弱也可增強，和側(cè)向傳播（LateralPropagation）有選擇性地在突觸前和突觸后傳播。
(4).記憶的儲存、提取與消退
理解記憶不應(yīng)只關(guān)注儲存問題，還有記憶消退問題， 消退的意義可能比儲存還要更重要。
①記憶的儲存：網(wǎng)絡(luò)中特定突觸群的效率與結(jié)構(gòu)修飾。
②記憶的遺忘：突觸功能與結(jié)構(gòu)修飾會隨時間消退。
③短期記憶轉(zhuǎn)化為長期記憶：有規(guī)則重復(fù)的重要性。
④記憶提取：電活動的再現(xiàn)于儲存記憶的突觸群。
⑤強化學(xué)習(xí)：依據(jù)輸出的結(jié)果對學(xué)習(xí)相關(guān)突觸群的修飾, 調(diào)質(zhì)神經(jīng)元在修飾中的作用。
(5).赫伯神經(jīng)元集群概念的應(yīng)用
①使用嵌套式集群來組成多成分、多模態(tài)的信息。
②不同模態(tài)的信息在網(wǎng)絡(luò)的不同區(qū)域處理時，可通過側(cè)向連接進(jìn)行交互影響。
③可使用同步或有相差的電活動來捆綁不同區(qū)的神經(jīng)集群。
④輸入信息的拓?fù)浣Y(jié)構(gòu)在傳輸過程中的不同層面有所保存。
2.對人工神經(jīng)網(wǎng)絡(luò)/機器學(xué)習(xí)的建議
一是“擺脫”深度學(xué)習(xí)網(wǎng)絡(luò)的誘惑。
二是建立全新的人工網(wǎng)絡(luò)架構(gòu)和算法，目標(biāo)是高效、節(jié)能、無監(jiān)督或者半監(jiān)督學(xué)習(xí)。
三是以脈沖神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，加入傳遞延遲。每一個突觸傳遞都有一個時間延遲，這是很多網(wǎng)絡(luò)處理信息的關(guān)鍵。
四是從簡單網(wǎng)絡(luò)為基礎(chǔ)，每次加入一個自然神經(jīng)網(wǎng)絡(luò)的特性，檢測其效能，然后逐步完善。
