人工神經網路相當於5到8層人工神經網路?

儘管人的大腦好像與電子計算機CPU中的整合ic截然不同,但生物學家對二者的較為早已有較長的歷史時間。如同阿德里亞·圖靈在1952年說過:“我們對大腦像冷粥一樣的稠度不感興趣。”也就是說,媒介並不重要,關鍵的是計算水平。

人工神經網路相當於5到8層人工神經網路?

現如今,最強有力的人工智慧控制系統應用根據深度學習培訓的深度學習方式,該最佳化的演算法經過調節很多的資訊掩藏層互相連線的連線點來線性擬合數據信息,這種連線點產生的網際網路被稱作深度神經網路。說白了,深度神經網路的設計靈感來自於人的大腦中真實的神經網路,這種深度神經網路的結點以實際的神經元為實體模型。依據二十世紀50年代神經系統生物學家對神經元的掌握,那時候一種有競爭力的神經元實體模型被稱作感知器,從那以後,大家對單獨神經元測算多元性的瞭解逐步加重,大家掌握到生物神經元比人工神經元更繁雜,可是繁雜的水平多少錢?不知道的。

一個生物神經元能夠 和5到8層人工神經網路相匹敵,為了更好地找到答案,耶路撒冷希伯來大學的David Beniaguev, Idan Segev和Michael London練習了一個人工深度神經網路來模擬模擬生物神經元的測算。該研究表明,“一個深度神經網路必須 5到8層互相連線的人工神經元來才可以表明單獨生物神經元的多元性。”

Beniaguev都沒有想到這類多元性,“我原以為它會更簡易,更小。”Beniaguev所言。他原先預估三到四層就足夠捕捉模組內實行的測算。

人工神經網路相當於5到8層人工神經網路?

在Google公司旗下的 AI 企業DeepMind 設計方案管理決策最佳化演算法的 Timothy Lillicrap 表明:“新結果顯示,很有可能必須再次思索,之前將人的大腦中的神經元與裝置學習背景下的神經元開展不準確的非常的舊傳統式 。”,他覺得“這篇畢業論文的確有利於大家更仔細地思索這個問題,並弄清楚我們可以在多多方面上開展對比。”

人工神經元和真正神經元中間最主要的共同之處,取決於他們解決鍵入的訊息的方法。這二種神經元都接受鍵入的資料訊號,並依據這種資訊內容決策能否將自身的訊號發給別的神經元。人工合成神經元是藉助簡易的測算來進行決策,但數十年的研究表明,生物神經元的這一環節相對而言更為繁雜。

測算神經系統生物學家應用鍵入-輸出涵數,模擬模擬生物神經元的長樹技(樹突)接受到的鍵入的訊息與神經元決策推送資料訊號中間的關聯。

此項新科研的創作者應用一個人工深度神經網路效仿這一涵數,以確定關係的複雜性。她們最先對耗子的大腦皮質中的神經元的I/O作用實現了規模性模擬模擬,這類神經元的上方和底端都是有不一樣的樹突支系,被稱作圓錐體神經元。隨後,她們將模擬模擬結果鍵入到一個深度神經網路中,該神經網路各層數最多有256個人工神經元,她們不停提升疊加層數,直至在模擬模擬神經元的填寫和輸出中間做到ms級99%的準確度。

最終,深度神經網路取得成功地預估了人的大腦神經元的鍵入-輸出涵數的個人行為,結果顯示:深度神經網路最少有5層互相連線的人工“神經元”,但不超過8層。在大部分網際網路中,一個生物神經元就等同於大概 1000 個人工神經元。

神經系統專家如今瞭解,單獨神經元的測算多元性,例如左側的圓錐體神經元,取決於樹突狀的支系,這種支系會遭受傳到資料訊號的負電子。在神經元決策是不是推送自身的資料訊號“頂峰”以前,會造成 部分工作電壓的轉變,以神經元的色澤改變來表明,鮮紅色表明高電壓,深藍色表明低壓。這一“頂峰”發生了三次,如圖所示中右邊的各支系的運動軌跡所顯示,這兒的顏色代表了樹突從上(鮮紅色)到下(深藍色)的部位。

——David Beniaguev

貝勒醫學院(Baylor College of Medicine)的測算神經系統生物學家安德烈亞斯·託利亞斯(Andreas Tolias)說:“(這一結果)為生物神經元和人工神經元中間架起了梁。”

這一科學研究的在其中一個創作者London對大家指出了警示,他覺得,“人工神經網路中有多少層和網上的多元性中間的影響並不顯著,並不是同時的相匹配。”因而,我們不能準確地說,從四層提升到五層會提高是多少多元性。大家也不能說1000 個人工神經元就代表著生物神經元的複雜性正好是人工神經元的 1000 倍。或許,我們可以在每一層中應用加倍的人工神經元,最終能產生僅有一層的深度神經網路來線性擬合一個生物神經元。自然,演算法學習很有可能因而須要越來越多的資訊和學習時間。

London表示:“大家試著了各種不同深度和不一樣單位的構架,但大多數都失敗了。”

該科學研究的小編們介紹了她們的編碼,以激勵別人尋找一個層級越來越少的解決方法。可是結果顯示,尋找一個能以99%的準確度模擬模擬生物神經元的深層次神經網路是不容易的。因而,這種創作者們堅信,她們得到的效果的確為進一步的分析帶來了有意思的較為。

Lillicrap覺得,這一科學研究結論針對將影象分類網際網路與人的大腦聯絡起來,也許能夠 給予一種新方式。影象分類網際網路一般必須 50 層之上,假如每一個生物神經元都近似於一個五層人工神經網路,那麼一個有50層的影象分類網際網路就等於一個生物網際網路中的10個真正神經元。

這一科學研究的小編還期待她們得到的分析結果可以被用以改善 AI 行業現階段最領先的深度網路結構。

Segev強調,“大家提議,能夠試著用一個意味著生物神經元的模組來取代深度神經網路中的簡易模組,使其更貼近人的大腦的工作方式。”在這類取代計劃方案中,人工智慧化科學研究員工和技術工程師能夠 插進一個五層深度網際網路做為“迷你型網際網路”,替代每一個人工神經元。

有提出質疑也是有毫無疑問

但有的人猜疑這一科學研究是不是確實對人工智慧化有利。

冷泉港試驗室(Cold Spring Harbor Laboratory)的神經學家霍華德·扎多爾(Anthony Zador)說,“我覺得,在這樣的比照中能否存有真實的測算優點,或是一個難以解決的難題。”“可是該分析為檢測這一點確立了基本。”

除開人工智慧化的運用以外,這篇新的畢業論文也加重了大家對樹突樹和單獨生物神經元強勁計算水平的的共識。早在2003年,三位神經系統生物學家就說明,金字塔式神經元的樹突樹能夠 根據將其模型為雙層人工神經網路來完成繁雜的數值模擬。在這篇新畢業論文中,創作者分析了金字塔式神經元的那些特點(構造)激起了5到8層深度神經網路的更高多元性。她們得到的理論依據是:密秘來自於樹突,及其樹突表層接受有機化學太陽龍寶寶的一種特殊蛋白激酶——這一發覺與該行業以前的分析結論一致。

一些人覺得,這一結果代表著神經系統生物學家應當把對單獨生物神經元的科學研究放到更主要的部位。

人工神經網路相當於5到8層人工神經網路?

哥倫比亞大學(University of Pennsylvania)的測算神經學家康拉德·科爾丁(Konrad Kording)說:“這篇畢業論文促使大家對樹突和單獨神經元的思索越來越比之前關鍵得多。”

也有Lillicrap和Zador,她們覺得關心一個控制迴路中的神經元,針對學習培訓人的大腦怎麼使用單獨神經元的測算多元性一樣關鍵。

不管怎樣,人工神經網路的分析也許會給予對生物神經元及其人的大腦秘密的新看法。

英國倫敦大學學校(University College London)的測算神經系統生物學家格蕾絲·林賽(Grace Lindsay)說:“從層級、深度和間距的方向思索,此項工作中使我們對測算的多元性擁有更直觀的瞭解。”

人工神經網路相當於5到8層人工神經網路?

殊不知, Lindsay 也提醒說,此項新科學研究依然僅僅在模型擬合開展較為。悲劇的是,現階段神經系統生物學家不太可能紀錄真正神經元的詳細鍵入-輸出作用,因此 有可能有大量生物神經元實體模型沒有捕獲的物品。也就是說,真真正正的神經元很有可能更為繁雜。

London表示:“大家不確定性,5到8層是不是真的是最後的極限。”