【導讀】：隨著人工智能的再次興起，尤其是深度學習的成功應用，自然語言處理（NLP）也逐漸受到了科研研所、高校以及相關企業的關注，也成為了人工智能重點研究的課題之一。NLP 的主要目標是解決人機對話中的各種困難，使得計算機能夠理解人類的語言，讓用戶能用自己的語言與計算機溝通。
最近幾年 NLP 的高速發展，其相關技術和應用都取得輝煌的成績，清華大學的 Aminer 團隊在 2018 年 7 月發布了 NLP 研究報告，從 NLP 的概念、技術、人才、應用以及發展趨勢五個方面總結 NLP 的發展歷程和所取得成績。那么，在過去這一年中，NLP 取得了哪些發展呢？
提到 2018 年自然語言處理（NLP）的成就，BERT 將會首先映入眼簾，其性能橫掃了多種不同的 NLP 測試，被譽為 NLP 新時代的開端。然而，2018 年并不是只有 BERT，無論是學術研究還是在企業應用，同樣還有許多激動人心的想法和讓人眼前一亮的應用。本文是 AI 前線年終盤點自然語言處理專題系列文章之技術與應用篇，我們將逐一盤點和總結這些想法和應用。
更多優質內容請關注「AI 應用前沿」
學術研究是技術發展的先行者，我們首先來看看 2018 年 NLP 學術研究都有哪些令人激動的想法。愛爾蘭的 NLP 研究科學家 Sebastian Ruder 盤點了 2018 年 NLP 領域的十大想法，在保留其原文的框架基礎上，我們對內容進行了重新編輯和補充。
1) 無監督機器翻譯（Unsupervised MT）
EMNLP 2018 上，Guillaume Lample 等人提煉出了無監督機器翻譯的三個關鍵方法：良好的初始化、語言建模和逆向任務建模 (通過反向翻譯)，大幅改進了之前的研究方法，無監督機器翻譯獲得了重大進展。這三個方法在其他無監督場景中也有用。逆向任務建模可以增強循環一致性，這種一致性已經在不同的方法中得到應用，在 CycleGAN 中最為突出。
2) 預訓練語言模型（Pretrained language models）
這是 NLP 領域今年最重要的發展趨勢。有很多令人難忘的方法：ELMo、ULMFiT、OpenAI Transformer 和 BERT。這里主要介紹 ELMo 和 BERT 兩個模型。ELMo（語言模型的詞嵌入）：出自艾倫人工智能研究院和華盛頓大學的論文“Deep contextualized word representations”，NLP 頂會 NAACL HLT 2018 的優秀論文之一，受到了廣泛好評。ELMo 用語言模型來獲取詞嵌入，同時也把詞語所處句、段的語境考慮進來。這種語境化的詞語表示，能夠體現一個詞在語法語義用法上的復雜特征，也能體現它在不同語境下如何變化。除了實證結果令人印象深刻之外，最引人注目的是論文的分析部分，它剔除了各種因素的影響，并對在表征中捕獲的信息進行了分析。詞義消歧分析執行得很好。兩者都表明了，語言模型提供的詞義消歧和詞性標注表現都接近最先進的水平。
BERT： 它由 Google 推出，全稱是 Bidirectional Encoder Representations from Transformers，意思是來自 Transformer 的雙向編碼器表示，也是一種預訓練語言表示的方法。BERT 模型沿襲了 GPT 模型的結構，采用 Transfomer 的編碼器作為主體模型結構。Transformer 舍棄了 RNN 的循環式網絡結構，完全基于注意力機制來對一段文本進行建模。模型的主要創新點都在 pre-train 方法上，即用了 Masked LM 和 Next Sentence Prediction 兩種方法分別捕捉詞語和句子級別的 representation。從性能上來看，沒有哪個模型能與 BERT 一戰。目前，BERT 在 11 項 NLP 任務上都取得了最頂尖成績。
3) 常識推理數據集（Common sense inference datasets）
將常識融入到模型中，是 NLP 最重要的前進方向之一。然而，創建一個好的數據集并不容易，即便是流行的數據集，也存在很大的偏差。而來自于華盛頓大學 Event2Mind 和 SWAG 試圖教模型一些常識，雖然 SWAG 很快被 BERT 超越了，但依然是一個很重要的想法。例如首個視覺 QA 數據集“Visual Commonsense Reasoning”，每個答案都包含對答案的解釋，且每個問題需要復雜的推理。創作者想盡辦法解決可能存在的偏差，確保每個答案的正確率為 25% (每個答案在整個數據集中出現 4 次，錯誤答案出現 3 次，正確答案出現 1 次)。在創建數據集的過程中，需要使用計算相關性和相似性的模型來解決約束優化問題，以防止可能出現的偏差會成為一個常識。
4) 元學習（Meta-learning）
元學習在少樣本學習、強化學習和機器人學習中得到了廣泛的應用，最突出的例子是與模型無關的元學習 ( MAML )。但在 NLP 領域，元學習很少有成功的應用。其實在解決樣本數量有限的問題上，元學習非常有用，尤其是將多語言遷移學習 (如多語言 BERT )、無監督學習和元學習相結合起來的時候，這是一個非常有希望取得進展的方向。發表于 EMNLP 2018 上的論文“Meta-Learning for Low-Resource Neural Machine Translation”就使用了 MAML，即將每一種“語言對 ”都視為單獨的元任務。在 NLP 領域，用來適應資源較少的語言，可能是元學習的最佳用武之地了。
5) 穩健的無監督方法（Robust unsupervised methods）
在遷移學習中，源和目標設置之間的差異 (例如，領域適應、持續學習和多任務學習中的任務) 會導致模型的效果變差或崩潰。即當語言不相似時，無監督的跨語言單詞嵌入方法會導致模型崩潰。面對這種變化時，如何讓模型更加穩健是很重要的。ACL 2018 的論文“A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings” 利用他們對問題的理解來設計更好的初始化，而不是將元學習應用到初始化上。比較亮眼的是，他們將兩種語言中分布相似的單詞配對。這一個例子證明了可以利用領域專業知識和分析見解使模型更加穩健。
6) 理解表征（Understanding representations）
為了更好地理解表征，研究者已經做了很多努力。特別是“診斷分類器”（diagnostic classifiers）(旨在測量學習到的表征能否預測某些屬性的任務) 已經變得非常普遍了。在理解表征方面，EMNLP 2018 上論文“Dissecting Contextual Word Embeddings: Architecture and Representation” 精心設計的無監督和有監督的任務中對單詞和跨度表征進行了廣泛的研究學習。實驗結果表明預訓練表征學習任務在較低層和較高層比較長的語義范圍中，與低層次的形態與句法任務相關。這實際上表明，預訓練語言模型，確實捕捉到了與在 ImageNet 上預處理的計算機視覺模型相似的特性。
7) 巧妙的輔助任務（Clever auxiliary tasks）
在許多場景中，越來越多的學者使用多任務學習和精心選擇的輔助任務。對于一項好的輔助任務來說，數據必須易于訪問。一個最突出的例子是 BERT，它使用下一句預測 (在 Skip-thoughts 中使用過，最近在 Quick-thoughts 使用) 取得了很大的效果。除 BERT 外，發表于 EMNLP 2018 上論文“Syntactic Scaffolds for Semantic Structures” 提出了一個輔助任務，通過預測每個跨度對應的句法成分類型，來預處理跨度表征。盡管從概念上來說很簡單，但是輔助任務在推動跨度預測任務出現大幅度改進方面很重要，例如語義角色標注和共指解析。這篇論文證明了，在目標任務所要求的水平上學習專門的表征非常有用。而論文“pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference (arXiv 2018)” 基于相似的脈絡，通過最大化“詞對”與其語境之間的點互信息來預訓練“詞對”表征。 這激勵了模型去學習更多有意義的“詞對”表征，而不是更通用的目標，比如語言建模。對于需要跨句子推理的任務，如 SQuAD MultiNLI，預訓練表征是有效的。將來或許可以看到更多的預訓練任務，能夠捕捉特別適合于某些下游任務的屬性，并與更多通用任務 (如語言建模) 相輔相成。
8) 半監督學習和遷移學習結合（Combining semi-supervised learning with transfer learning）
實際上，預訓練表征與許多半監督學習表征的方法是互補的。已經有學者探索了自我標注的方法，這是一種特殊類型的半監督學習。論文“Semi-Supervised Sequence Modeling with Cross-View Training (EMNLP 2018)” 展示了一個在概念上非常簡單的想法，確保對不同輸入觀點的預測與主模型的預測一致，可以在不同的任務集合中獲得收益。這個想法類似于單詞 dropout，但是可以利用未標記的數據來使模型更加穩健。與其他自組合模型相比，它是專門為特定的 NLP 任務設計的。
9) QA 和大型文檔推理（QA and reasoning with large documents）
在問答系統中，除了對話式問答和多步推理，問答最具挑戰性的方面是綜合敘述和處理大體量信息。TACL 2018 上的論文“The NarrativeQA Reading Comprehension Challenge” 基于對整部電影劇本和書籍問題的回答，提出了一個具有挑戰性的新 QA 數據集。雖然依靠目前的方法仍無法完成這項任務，但模型可以選擇使用摘要 (而不是整本書) 作為語境來選擇答案 (而不是生成答案)。這些變體使完成任務更加可行，并使模型能夠逐步擴展到完整的語境。
10) 歸納偏差（Inductive bias）
歸納偏差，如 CNN 中的卷積、正則化、dropout 和其他機制，是神經網絡模型的核心部分，它們起到調節器的作用，使模型更具樣本效率。然而，提出一個應用更加廣泛的歸納偏差方法，并將其融入模型是一個挑戰。有幸的是在 2018 的研究中有了這一類的相關成果。論文“Sequence classification with human attention (CoNLL 2018)”提出利用視覺跟蹤語料庫中的人類注意力來規范視覺神經網絡中的注意力。考慮到當前許多模型（如 Transformers）也使用注意力，找到更有效地訓練它的方法是一個重要的方向。另外， 論文還證明了人類語言學習可以幫助改進計算模型。而 2018 年 EMNLP 上的最佳論文之一“Linguistically-Informed Self-Attention for Semantic Role Labeling”提出了將 multi-head self-attention 與多任務學習相結合的模型，該模型可以僅使用原始的 token 對序列進行一次編碼，來同時執行多個預測任務。論文中還通過訓練一個注意力頭來關注每個 token 的句法父項，使 Transformer 的多頭注意力對句法更加敏感。
總體說來，NLP 作為認知智能的重要組成部分，依然是人工智能領域研究的重要課題，而 2018 年也取得了成績，也讓我們對未來 NLP 研究充滿了希望。
伴隨著 NLP 研究的不斷深入，其應用也變得越來越廣泛，尤其是在知識圖譜、機器翻譯、閱讀理解和智能寫作等方面都有較為成熟的應用。
由于知識圖譜能夠讓人工智能具備認知能力和邏輯能力，進而實現智能分析、智能搜索、人機交互等場景應用，而這一優勢使得知識圖譜可以應用于科研、金融、醫療、司法、公共安全等各個領域。2018 年以來，百度應用知識圖譜率，實現了智能搜索；阿里健康啟動醫學知識圖譜，與國家級醫療健康大數據平臺等機構在京宣布啟動醫學智庫“醫知鹿”，而騰訊也推出了首款醫療 AI 引擎“騰訊睿知”發力智能導診；美團通過構建其知識圖譜實現以實現智能化的生活服務；招商銀行總行的知識圖譜項目也成果落地上線，預示著知識圖譜在金融領域的應用正不斷成熟；而在汽車領域，汽車之家通過構建汽車領域知識圖譜，為其 APP“家家小秘”實現了圖譜問答?？傊?，知識圖譜的行業應用，會讓內容更加精準，服務更加智能，也逐漸成為了各領域的數據和技術核心。
隨著深度學習在機器翻譯的成功應用，以及實時的語音轉文字和文字轉語音功能的成熟，模型翻譯的水平得到了很大的提高，很大程度上的解決了對話中的翻譯問題。為此，翻譯機在 2018 年成為了人們關注的熱點，除了之前我們熟悉的谷歌、百度、網易等在線翻譯外，2018 年 6 月 13 日，谷歌發布離線神經機器翻譯技術（ Neural Machine Translation），使得離線狀態下 ，也能用 AI 翻譯，且支持 59 種語言；2018 年 9 月，網易有道自研離線神經網絡翻譯技術，并應用于發布的翻譯智能硬件“有道翻譯王 2.0Pro”；2018 年 9 月，搜狗推出最新款時尚 AI 翻譯機——搜狗翻譯寶 Pro，支持 42 種語言實時互譯及中英日韓 4 種語言離線翻譯；2018 年 10 月，百度推出實時將英語翻譯成中文和德語的人工智能即時翻譯工具。機器翻譯作為 NLP 最為人知的應用場景，其產品正逐漸成為人們生活的必需品，因此機器翻譯任然蘊含著巨大的市場價值，讓眾多廠商為之心動，同時也必然會使得機器翻譯越來越成熟。
閱讀理解方作為復雜的 NLP 技術之一，受到了廣大學者和企業的關注，同時也已經開始商業化。2018 年 8 月，“考拉閱讀”宣布完成融資 2000 萬美金，并將此次融資用于考拉閱讀原創“中文分級閱讀系統 ER Framework”的優化升級、優質閱讀內容的生產聚合及市場規模的擴大；在近期舉辦的 MS MARCO 文本閱讀理解挑戰賽中，阿里 AI 模型在英文閱讀理解比賽中超過了微軟、百度等研究機構，排名第一，而這一技術也已經大規模應用與淘寶、天貓以及東南亞電商 Lazada 等產品中。閱讀理解作為繼語音判斷和語義理解之后的又一主要挑戰，需要模型理解全文語境，同時還需要理解和關注詞匯、語句、篇章結構、思維邏輯、輔助語句和關鍵句等元素，并可以直接作用于現實中的文本資料中，其價值不言而喻。也因為這個原因，使得 MS MARCO 文本閱讀理解挑戰賽變的如此激烈。
智能創作通過深度學習模型獲取創作的背景知識和創作方法，并根據主題自動生成作品，以輔助或替代人工創作。其中印象最為深刻的便是騰訊寫稿機器人“Dreamwriter” ，在俄羅斯世界杯足球賽期間，Dreamwriter 生產一篇稿子平均只要 0.46 秒，而且寫法越來越類人化，不再是冷冰冰的；除此之外，百度在 1 月的百家號內容創作者盛典上宣布推出人工智能寫作輔助平臺“創作大腦”，為人類作者提供糾錯、提取信息等各種輔助工作，其基于語義的智能糾錯功能識別準確率達到了 95% 以上，能實現相當于大學生平均水平的糾錯能力；2018 年 5 月，微軟小冰宣布“演唱深度學習模型完成第四次重大升級，演唱水平接近人類，且開始向作詞、作曲、演唱全面發展；2018 年 6 月，IBM Research 推出 AI 系統 Project Debator，在舊金山 IBM 辦公室，人工智能在一場辯論賽中擊敗了人類頂尖辯手，Project Debater 通過處理大量文本，就特定主題構建出有良好結構的演講，提供清晰明確的目的，并反駁其對手，它的對手是以色列國際辯論協會主席 Dan Zafrir 和 2016 年以色列國家辯論冠軍 Noa Ovadia。智能創作幾乎需要集成目前所有的 NLP 技術，也側面體現了各公司 NLP 技術綜合實力，因此智能創造也備受各企業的關注。
除了以上熱門的應用之外，智能問答和語音處理依然是 NLP 的熱門應用。2018 年以來，各廠商也都相繼更新換代，例如騰訊在最近推出了一款全新的“騰訊叮當智能視聽屏”，就成功打破了智能音箱和智能顯示設備之間的隔膜，成功的將兩者完美的結合在了一起；而在剛剛結束的 2018 年 AICon 上，智能對話和語音處理依然是人們主題之一。NLP 的成熟應用，讓智能應用的關鍵一步，不僅可以解放人力，同時也帶來了更好的用戶體驗。
2018 年，無論是 NLP 的研究還是應用，都十分熱鬧。NLP 研究的內容逐漸趨近于模型的可解釋性和預訓練，說明 NLP 的研究已經進入了深水區。而在應用方面，我們看到微軟、谷歌、百度等巨頭的競爭格局已經形成，同時各垂直領域也相繼推出相應的產品，例如汽車之家的家家小秘、蔚來的 nomi 等，另外不少后起公司憑借自己的努力也有望向巨頭發起挑戰，例如竹間科技、思必馳等。
NLP 涉及了計算機、數學、統計學、語言學以及腦神經科學等領域的知識，為了不斷的提升 NLP 技術，我們仍然需要 NLP 相關方面和領域的研究人員和企業繼續努力，講求研究和應用并舉，普及與提高同步。我們希望看到各領域、各企業的專家、學者、工程師通力合作，共同創作另一個輝煌的 NLP 時代。
雷濤，高級算法工程師，汽車之家智能聊天機器人算法負責人。博士畢業于北京郵電大學大學網絡技術學院，主要從事智能聊天機器人相關技術研發，致力于機器學習、深度學習、NLP 相關算法在智能聊天機器人領域的落地應用。
