What were the most significant machine learning/AI advances in 2018?
Xavier Amatriain
如果我必須將2018年機器學習進展的主要亮點歸納在幾個標題中，我可能會想到以下幾點：
AI一些天花亂墜的炒作和令人恐慌的謠言漸漸平息。
更多地關注公平（fairness）、可解釋性（interpretability）或因果關系（causality）等具體問題。
深度學習依然存在，并且在實踐中非常有用，特別是對于NLP來說，而不僅僅是圖像分類。
AI 框架前線的戰(zhàn)斗正在升溫，如果你想榜上有名，你最好發(fā)布一些你自己的框架。
讓我們了解一些細節(jié)：
如果2017年可能是煽動和炒作的尖點，2018年似乎是我們都開始冷靜下來的一年。雖然一些人確實在繼續(xù)宣揚他們制造 AI 恐慌信息，但他們最近可能比較忙，沒有投入太多精力來做這種事。與此同時，媒體和其他人似乎已經(jīng)平靜地接受了這樣的觀點：盡管自動駕駛汽車和類似的技術正在以我們的方式出現(xiàn)，但它們不會在明天發(fā)生。盡管如此，仍然有一些聲音在捍衛(wèi)我們應該監(jiān)管人工智能的壞想法，而不是把注意力集中在對其結(jié)果的監(jiān)管上。
不過，很高興看到，今年的重點似乎已經(jīng)轉(zhuǎn)移到可以解決的更具體的問題上。例如，有很多關于 Fairness 的討論，不僅有幾次關于這個主題的會議(見FATML或ACM FAT)，甚至還有谷歌的一些在線課程。
按照這些思路，今年討論過的其他問題包括可解釋性（interpretability）、解釋（explanations）和因果關系（ causality）。從后者開始，因果關系似乎重新成為人們關注的焦點，這主要是因為 Judea Pearl’s “The Book of Why” 的出版。事實上，即使是大眾媒體也認為這是對現(xiàn)有人工智能方法的“挑戰(zhàn)” (例如，請參閱 article in The Atlantic [1] 這篇文章)。實際上，即使是在ACM Resys會議上獲得的最佳論文，也是針對如何在嵌入中包含因果關系問題的論文(參見Causal Embeddings for Recommendations [2])。盡管如此，許多其他作者認為因果關系在某種程度上是一種理論上的干擾，我們應該再次關注更具體的問題，如可解釋性。說到解釋，這一領域的亮點之一可能是Anchor [3] 的論文和代碼的發(fā)布，這是同一作者對著名的 LIME [4] 模型的后續(xù)研究。
Judea Pearl 的The Book of Why 是今年的暢銷書，在亞馬遜公共事務版塊排第一位：
最新版《The Book of Why: The New Science of Cause and Effect》下載：
請關注專知公眾號（掃一掃最下面專知二維碼，或者點擊上方藍色專知），
后臺回復“CBW” 就可以獲取筆《the book of why》下載鏈接~
盡管仍然存在關于深度學習作為最普遍的人工智能范式的問題(包括我在內(nèi))，但當我們繼續(xù)瀏覽 Yann Lecun 和 Gary Marcus 之間關于這一問題的第9次討論時，很明顯，深度學習不僅存在于此，而且就其所能提供的內(nèi)容而言，它仍遠未達到一個平臺。更具體地說，在這一年里，深度學習方法在從語言到醫(yī)療保健等與視覺不同的領域取得了前所未有的成功。
事實上，這可能是在NLP領域，我們看到了今年最有趣的進展。如果我不得不選擇今年最令人印象深刻的人工智能應用程序，它們都將是NLP(而且都來自谷歌)。第一個是Google's super useful smart compose [5]，第二個是他們的 Duplex [6] 對話系統(tǒng)。
使用語言模型的想法加速了許多這些進步，從今年的 UMLFit [7] 開始流行起來，并且我們看到了其他 (以及改進) 的方法，如ELMO [8]，open AI transformers [9]，或最近的谷歌的 BERT [10]，它擊敗了許多 SOTA 的結(jié)果走出大門。這些模型被描述為“NLP的ImageNet時刻”，因為它們提供了現(xiàn)成的、經(jīng)過預訓練的通用模型，也可以為特定的任務進行微調(diào)。除了語言模型之外，還有許多其他有趣的進步，比如Facebooks multilingual embeddings [11]等等。值得注意的是，我們還看到了這些方法和其他方法被集成到更通用的NLP框架中的速度，例如Allennlp [12 ]或Zalando的FLAIR [13]。
說到框架，今年的“人工智能框架之戰(zhàn)”已經(jīng)升溫。雖然在一些情況下使用 PyTorch 的情況仍然不太理想，但似乎 PyTorch 比 TensorFlow 在可用性、文檔和教育方面的追趕速度更快。有趣的是，選擇 PyTorch 作為實現(xiàn)Fast.ai的框架可能起到了很大的作用。盡管如此，谷歌已經(jīng)意識到了這一切，并正朝著正確的方向努力，將Keras作為 '頭等艙公民' 納入框架。最后，我們都受益于所有這些巨大的資源，所以歡迎他們的到來！
有趣的是，我們看到了許多有趣的發(fā)展的另一個領域是強化學習。雖然我不認為RL的研究進展像前幾年那樣令人印象深刻 (只想到了DeepMind最近的Impala [14])，但令人驚訝的是，在一年中，我們看到所有主要人工智能玩家都發(fā)布了一個RL框架。 谷歌發(fā)布了 Dopamine framework [15] 研究框架，而 DeepMind (也在谷歌內(nèi)部) 發(fā)布了有點競爭的 TRFL [16] 框架。當微軟發(fā)布 Textworld [17]時，F(xiàn)acebook不能落后，發(fā)布了 Horizon [18]，后者更適合訓練基于文本的agents。希望所有這些開放源碼的優(yōu)點都能幫助我們在2019年看到更多的RL進展。
為了完成框架前面的工作，我很高興看到Google最近在 TensorFlow 之上發(fā)布了TFRank [19]。排名ranking 是一個非常重要的ML應用，它最近得到的愛可能比它應得的少……
看起來深度學習最終消除了對數(shù)據(jù)進行智能化的需求，但這遠非如此。 該領域仍然有很多有趣的進展，圍繞著改進數(shù)據(jù)的想法。例如，雖然數(shù)據(jù)增強已經(jīng)存在了一段時間，對于許多DL應用程序來說也是非常關鍵，但今年谷歌發(fā)布了 auto-augment [20]，這是一種深度強化學習的方法，可以自動增強訓練數(shù)據(jù)。一個更極端的想法是用合成數(shù)據(jù)來訓練DL模型。這已經(jīng)在實踐中嘗試了一段時間，被許多人認為是未來人工智能的關鍵。NVIDIA在他們的論文 Training Deep Learning with Synthetic Data [21]中提出了有趣的新想法。在我們的 Learning from the Experts [22]中，我們還展示了如何使用專家系統(tǒng)生成綜合數(shù)據(jù)，即使與現(xiàn)實世界的數(shù)據(jù)相結(jié)合，這些數(shù)據(jù)也可以用來訓練DL系統(tǒng)。最后，另一個有趣的方法是通過使用“弱監(jiān)督”來減少大量手工標注數(shù)據(jù)的需求。Snorkel [23]}是一個非常有趣的項目，旨在通過提供一個通用框架來促進這種方法。
至于人工智能的更多基礎性突破，可能是我關注的重點，但我沒有見過很多。 我并不完全贊同Hinton，因為他說這種缺乏創(chuàng)新是由于該領域有“少數(shù)資深人士和無數(shù)年輕人”，雖然在科學上確實有一種趨勢，那就是在晚年進行突破性的研究。在我看來，目前缺乏突破的主要原因是，現(xiàn)有方法和變體仍然有許多有趣的實際應用，因此很難在可能不太實際的方法中冒險。當這個領域的大部分研究都是由大公司贊助的時候，這就更有意義了。無論如何，一篇挑戰(zhàn)某些假設的有趣論文是“An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling” [24]。雖然它是高度經(jīng)驗性的，并且使用了已知的方法，但它為發(fā)現(xiàn)新的方法打開了大門，因為它證明了通常被認為是最優(yōu)的方法實際上并不是最優(yōu)的。另一篇高度探索性的論文是最近獲得N額URIPS 最佳論文獎的“Neural Ordinary Differential Equations” [25]，它對DL中的一些基本內(nèi)容提出了挑戰(zhàn)，包括layer本身的概念。
Viral Shah
2017年，在Julia [1] 社區(qū)，我們對機器學習/人工智能進行了調(diào)查，并撰寫了一篇關于機器學習和編程語言的博客文章。我們在文章中得出結(jié)論：
機器學習模型已經(jīng)成為構(gòu)建更高層次和更復雜抽象的極其普遍的信息處理系統(tǒng)；遞歸、高階模型，甚至堆棧機器和語言解釋器，都是作為基本組件的組合實現(xiàn)的。ML是一種新的編程范式，盡管它是一個很奇怪的編程范式，它具有大量的數(shù)值性、可微性和并行性。
我們在一篇博客文章中闡述了我們的進展：為機器學習建立了一種語言和編譯器 [2]。
Renato Azevedo Sant Anna
我想說的是，谷歌的DeepMind AlphaZero 在短短幾天內(nèi)就有了很強的學習棋盤游戲的能力，GANs具有生成假人臉圖像的能力，更多地利用遷移學習來提高深度學習算法的速度，而不是原始主流使用的強化學習。
參考鏈接：
[1] https://www.theatlantic.com/technology/archive/2018/05/machine-learning-is-stuck-on-asking-why/560675/?single_page=true
[2] https://recsys.acm.org/recsys18/session-2/
[3] https://github.com/marcotcr/anchor
[4] https://homes.cs.washington.edu/~marcotcr/blog/lime/
[5] https://ai.googleblog.com/2018/05/smart-compose-using-neural-networks-to.html?m=1
[6] https://ai.googleblog.com/2018/05/duplex-ai-system-for-natural-conversation.html
[7] http://nlp.fast.ai/classification/2018/05/15/introducting-ulmfit.html
[8] https://arxiv.org/abs/1802.05365
[9] https://blog.openai.com/language-unsupervised/
[10] https://github.com/google-research/bert
[11] https://code.fb.com/ml-applications/under-the-hood-multilingual-embeddings/
[12] https://github.com/allenai/allennlp/releases/tag/v0.7.2
[13] https://github.com/zalandoresearch/flair
[14] https://arxiv.org/pdf/1802.01561.pdf
[15] https://blog.acolyer.org/2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true
[16] https://deepmind.com/blog/trfl/
[17] https://www.microsoft.com/en-us/research/blog/textworld-a-learning-environment-for-training-reinforcement-learning-agents-inspired-by-text-based-games/?OCID=msr_blog_textworld_icml_tw
[18] https://research.fb.com/publications/horizon-facebooks-open-source-applied-reinforcement-learning-platform/
[19] https://ai.googleblog.com/2018/12/tf-ranking-scalable-tensorflow-library.html
[20] https://ai.googleblog.com/2018/06/improving-deep-learning-performance.html?m=1
[21] https://arxiv.org/abs/1804.06516
[22] https://arxiv.org/abs/1804.08033
[23] https://blog.acolyer.org/2018/08/22/snorkel-rapid-training-data-creation-with-weak-supervision/amp/?__twitter_impression=true
[24] https://arxiv.org/pdf/1803.01271.pdf
[25] https://arxiv.org/abs/1806.07366
[26] https://julialang.org/
[27] https://julialang.org/blog/2018/12/ml-language-compiler
原文鏈接：
https://www.quora.com/What-were-the-most-significant-machine-learning-AI-advances-in-2018
