本文作者曾經(jīng)多次預(yù)測了技術(shù)發(fā)展的趨勢，最近的一次預(yù)測是“2011年軟件發(fā)展的趨勢與預(yù)測”。10項(xiàng)預(yù)言中，準(zhǔn)確地命中了6項(xiàng)，比如JavaScript VM、NoSQL、大數(shù)據(jù)分析、私有云、Scala語言等等。今年，他對深度學(xué)習(xí)的發(fā)展趨勢做了一個(gè)預(yù)測，主要是研究領(lǐng)域的趨勢預(yù)測，而不是工業(yè)界的應(yīng)用。
以下是作者對2017年度的預(yù)測內(nèi)容。
硬件將加速倍增摩爾定律
作者根據(jù)其觀察到Nvidia和Intel的發(fā)展動(dòng)態(tài)，認(rèn)為這是顯而易見的趨勢。由于Nvidia具有完整的深度學(xué)習(xí)生態(tài)系統(tǒng)，它們在整個(gè)2017年都將主導(dǎo)占據(jù)主導(dǎo)地位。在另一個(gè)深度學(xué)習(xí)生態(tài)系統(tǒng)成熟之前，沒有人會(huì)拋棄Nvidia而追求其它的平臺。Intel的Xeon Phi方案中途夭折，預(yù)計(jì)要到2017年年中才能在性能上追趕上Nvidia，那時(shí)基于Nervana的芯片才推向市場。Intel的FPGA方案可能因?yàn)槌杀驹蚨辉铺峁┥趟杉{。降低功耗是頭等大事。預(yù)計(jì)到2017年年中，Intel的Nervana芯片每秒可完成30萬億次浮點(diǎn)運(yùn)算。作者個(gè)人猜測，Nvidia目前已經(jīng)能夠?qū)崿F(xiàn)每秒20萬億次浮點(diǎn)運(yùn)算，他打賭Intel在2018年之前不會(huì)有太多動(dòng)作。Intel手中的唯一可能的一張王牌是3D XPoint技術(shù)。這將有助于提高整個(gè)硬件堆棧，但不一定是提升核心能力。
卷積神經(jīng)網(wǎng)絡(luò)（CNN）將會(huì)統(tǒng)治而RNNs和LSTM將被淘汰
作者認(rèn)為CNN模型將成為深度學(xué)習(xí)系統(tǒng)的主流模型。RNN和LSTM模型及其遞歸設(shè)置和嵌套的記憶節(jié)點(diǎn)將越來越少地使用，因?yàn)樗鼈儫o法與CNN所抗衡。就如同GOTO在代碼中消失一樣，作者希望RNN和LSTM模型也被淘汰。
簡單的調(diào)參工作將被元學(xué)習(xí)取代
當(dāng)作者剛開始接觸深度學(xué)習(xí)時(shí)，他認(rèn)為優(yōu)化算法，特別是二階的算法能夠有巨大的提升。如今，已經(jīng)有替我們優(yōu)化模型的深度學(xué)習(xí)模型了。我們不在需要費(fèi)盡心思改進(jìn)SGD算法了，作者認(rèn)為重要的一個(gè)原因是元學(xué)習(xí)（meta-learning）能夠根據(jù)領(lǐng)域自適應(yīng)地優(yōu)化學(xué)習(xí)過程。
可微分記憶網(wǎng)絡(luò)將更常見
記憶模塊將從核心節(jié)點(diǎn)中抽取出來，只是作為計(jì)算機(jī)制的一個(gè)獨(dú)立組件，作者覺得這是一個(gè)很自然的結(jié)果或者說架構(gòu)。他認(rèn)為LSTM的遺忘門、輸入門和輸出門沒有必要，它們可以被輔助的可微分記憶模塊所取代。這呼應(yīng)了作者對CNN模型的預(yù)測。
強(qiáng)化學(xué)習(xí)只會(huì)變得更具創(chuàng)造性
對于現(xiàn)實(shí)的觀察永遠(yuǎn)是不完美的。我們身邊存在著大量SGD無法解決的問題。因此，任何實(shí)踐性的深度學(xué)習(xí)系統(tǒng)都必須包含某些形式的強(qiáng)化學(xué)習(xí)。除此之外，強(qiáng)化學(xué)習(xí)將會(huì)出現(xiàn)在各種深度學(xué)習(xí)的訓(xùn)練過程中。作者認(rèn)為強(qiáng)化學(xué)習(xí)極大地促進(jìn)了元學(xué)習(xí)。
對抗與合作學(xué)習(xí)將成為王牌
在過去，我們的深度學(xué)習(xí)系統(tǒng)都只有單一的目標(biāo)函數(shù)。今后，作者希望看到兩個(gè)或兩個(gè)以上的網(wǎng)絡(luò)合作或競爭來實(shí)現(xiàn)一個(gè)最佳的解決方案。參見“博弈論揭示了深度學(xué)習(xí)的未來”。
轉(zhuǎn)移學(xué)習(xí)引領(lǐng)產(chǎn)業(yè)化
Andrew Ng認(rèn)為這非常重要，作者也表示贊同！
更多的應(yīng)用程序?qū)⑹褂蒙疃葘W(xué)習(xí)組件
在2016年，我們已經(jīng)看到深度學(xué)習(xí)在更大的搜索算法中用作一個(gè)功能評價(jià)組件。alphago采用深層學(xué)習(xí)來評估策略。谷歌的Gmail自動(dòng)回復(fù)系統(tǒng)將深度學(xué)習(xí)與集束搜索(beam search)結(jié)合。作者希望看到更多的這類混合算法，而不是新的end-to-end的被訓(xùn)練的DL系統(tǒng)。
更多的采用設(shè)計(jì)模式
深度學(xué)習(xí)只是眾多需要抽象結(jié)構(gòu)的復(fù)雜領(lǐng)域之一。盡管它用到了很多高深的數(shù)學(xué)知識，仍有很多未經(jīng)證明和模糊的概念可以借鑒在其它復(fù)雜領(lǐng)域已被證明是有效的方法，比如在軟件開發(fā)領(lǐng)域有效。作者認(rèn)為人們最終會(huì)從深度學(xué)習(xí)與模式設(shè)計(jì)中得到啟發(fā)。
工程將超過理論
作者認(rèn)為研究人員的背景和他們所使用的數(shù)學(xué)工具會(huì)給他們的研究方法帶來偏見。深度學(xué)習(xí)系統(tǒng)和無監(jiān)督學(xué)習(xí)系統(tǒng)等等這些新的東西可能我們從來沒有遇到過。因此，他覺得沒有證據(jù)表明我們的傳統(tǒng)分析工具將對解開深度學(xué)習(xí)的謎團(tuán)提供任何幫助。幾十年來，物理學(xué)中大量的動(dòng)態(tài)系統(tǒng)一直困擾著作者，他將此類比于深度學(xué)習(xí)系統(tǒng)。
然而，盡管我們?nèi)狈α私馄浔举|(zhì)，但是將不會(huì)阻止工程上的應(yīng)用。作者覺得深度學(xué)習(xí)幾乎就像是生物技術(shù)或基因工程。我們已經(jīng)創(chuàng)建了模擬學(xué)習(xí)機(jī)，我們不知道他們是如何工作的，但是這并沒有阻止任何人進(jìn)行創(chuàng)新。
原文： 10 Deep Learning Trends and Predictions for 2017
作者： Carlos E. Perez
譯者： KK4SBB
歡迎技術(shù)投稿、約稿、給文章糾錯(cuò)，請發(fā)送郵件至heyc@csdn.net
想要更多干貨？請關(guān)注CSDN人工智能公眾號AI_Thinker。
