在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。
@RefluxNing 推薦
#Machine Reading Comprehension
本文是 CMU 和 Google Brain 發表于 ICLR 2018 的文章,論文改變了以往機器閱讀理解均使用 RNN 進行建模的習慣,使用卷積神經網絡結合自注意力機制,完成機器閱讀理解任務。
其中作者假設,卷積神經網絡可建模局部結構信息,而自注意力機制可建模全文互動(Interaction)關系,這兩點就足以完成機器閱讀理解任務。
論文鏈接
https://www.paperweekly.site/papers/1759
@xcwill 推薦 #Dialog Systems
本文來自劍橋大學和 PolyAI,論文提出了一種新的強化學習方法來解決對話策略的優化問題。
論文鏈接
https://www.paperweekly.site/papers/1756
Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN @Zsank 推薦 #Recurrent Neural Networks
本文使用 ReLU 等非飽和激活函數使網絡變得更具有魯棒性,可以處理很長的序列(超過 5000 個時間步),可以構建很深的網絡(實驗中用了 21 層)。在各種任務中取得了比 LSTM 更好的效果。
論文鏈接
https://www.paperweekly.site/papers/1757
代碼鏈接
https://github.com/batzner/indrnn
@paperweekly 推薦 #Neural Machine Translation
本文提出的方法可以認為是從源語言到目標語言翻譯的學習與從目標語言到源語言翻譯的學習的結合。中英翻譯和英中翻譯都使用初始并行數據來訓練,在每次訓練的迭代過程中,中英翻譯系統將中文句子翻譯成英文句子,從而獲得新的句對,而該句對又可以反過來補充到英中翻譯系統的數據集中。
同理,這個過程也可以反向進行。這樣雙向融合不僅使得兩個系統的訓練數據集大大增加,而且準確率也大幅提高。
論文鏈接
https://www.paperweekly.site/papers/1750
@Zsank 推薦 #Question Answering
社區問答有一個很主要的挑戰就是句子間詞匯與語義的鴻溝。本文使用了 phrase-level 和 token-level 兩個層次的 attention 來對句子中的詞賦予不同的權重,并參照 CNTN 模型用神經張量網絡計算句子相似度的基礎上,引入額外特征形成 3-way 交互張量相似度計算。
圍繞答案選擇、最佳答案選擇、答案觸發三個任務,論文提出的模型 RTM 取得了多個 state-of-art 效果。
論文鏈接
https://www.paperweekly.site/papers/1741
@chlr1995 推薦 #Importance Sampling
Importance Sampling 在凸問題的隨機優化上已經得到了成功的應用。但是在 DNN 上的優化方面結合 Importance Sampling 存在困難,主要是缺乏有效的度量importance 的指標。
本文提出了一個基于 loss 的 importance 度量指標,并且提出了一種利用小型模型的 loss 近似方法,避免了深度模型的大規模計算。經實驗表明,結合了 Importance Sampling 的訓練在速度上有很大的提高。
論文鏈接
https://www.paperweekly.site/papers/1758
代碼鏈接
https://github.com/idiap/importance-sampling
@guotong1988 推薦 #Knowledge Base
傳統 QA 問題的解決方法是從知識庫或者生文本中推測答案,本文將通用模式擴展到自然語言 QA 的應用當中,采用記憶網絡來關注文本和 KB 相結合的大量事實。
論文鏈接
https://www.paperweekly.site/papers/1734
代碼鏈接
https://github.com/rajarshd/TextKBQA
@paperweekly 推薦 #Sequence Labeling
編碼器 - 解碼器框架在許多任務中取得了可喜的進展,包括機器翻譯、文本摘要、QA、對話系統、圖像標記等,但它還沒有涉及審議。
審議是人們日常生活中的一種常見行為,如閱讀新聞、撰寫論文/文章/書籍,在本文中,團隊將審議過程引入到編碼器 - 解碼器框架中,并提出用審議網絡進行序列生成。
論文鏈接
https://www.paperweekly.site/papers/1749