陳丹琦
高中(2005-2008)
長沙市雅禮中學
大學(2008-2012)
清華學堂計算機科學實驗班(清華姚班)
博士(2012-2018)
斯坦福大學計算機科學
即將入職
普林斯頓大學計算機科學系助理教授
她3年級學奧數,初中迷上了信息學,最終拿下IOI2008金牌
2008年8月16日至22日,在埃及首都開羅舉行的第20屆國際信息學奧林匹克競賽上,來自78個國家和地區的近300名世界信息學頂尖高手參賽,中國的4名選手獲得三金一銀,陳丹琦是惟一的女生,不僅拿到了金牌,還榮獲了由國際信息處理學會(IFIP)頒發的最佳女選手特別獎。
這次在開羅參賽,正值北京舉行第29屆奧林匹克運動會,讓陳丹琦感到格外有意義、有意思。“能和這么多不同國家和地區的人相互交流、共同學習,是件很有趣和快樂的事情。”陳丹琦說,她清楚地記得在開羅看奧運會比賽時的情景,“許多埃及人得知我們來自中國之后紛紛舉起雙手,向我們豎起大拇指。
成功并非一蹴而就,而是源于細節的積累。陳丹琦的父親陳摯是國防科技大學數學系的副教授,在對女兒的培養教育方面功不可沒。還在丹琦很小的時候,他就發現女兒對數字很敏感,對數學的理解力很強,做題的速度、反應以及考慮問題的全面性都顯得比同齡的孩子強。從此,他就有意識地培養她的學習興趣,督促她養成良好的習慣,訓練她的思維方式,在學習方法上進行引導。有了這樣一位好的啟蒙老師,丹琦也充分發揮了自己的數學天賦。小學三年級就開始學奧賽,初一參加全國的初中數學聯賽,得了湖南賽區二等獎,初三又再接再厲得了數學特等獎,并開始系統地學習信息學。
在一般人眼里,數學是枯燥無味的,信息學更不用說,可陳丹琦卻學得不亦樂乎。“學會新的東西,讓我感覺很快樂。”對丹琦來說,能夠找到自己喜歡做的事情,然后竭盡全力把它做到最好,是一件很幸福的事。一旦弄懂一個新東西,或者攻克了一道難題,她都有一種莫名的興奮感和成就感。總結自己的學習經驗時,她說自己屬于勤奮型,克服困難,堅持不放棄是她奉行的宗旨。
她苦練書法7年,好勝心比男生還強,最終俘獲冠軍俞華程
拿下IOI金牌時,陳丹琦不到18歲, 瘦瘦高高的個子,一副近視眼鏡為她平添了幾分文弱。然而,熟悉她的人都知道,這個女孩不簡單,骨子里有股好強不服輸的勁兒。
信息學奧賽,向來都是男生的‘天下’,女生獲得金牌,在全球都很罕見。成天扎在信息學奧賽集訓隊這個“男生堆”里,陳丹琦對學習追求完美,“搶”盡男生的風頭。陳丹琦則說,初三剛參加各種信息學競賽時,她經常考不過別人,為此大哭了好幾次。“但是我想,誰都會碰到困難,挺過去就好了。我最大的特點就是堅持、不放棄,我不會允許自己失敗。”
信息學在旁人眼中枯燥、深奧,需要很強的邏輯性和條理性,常理上男生比女生可能更適合這個領域。但朱全民教練早就發現丹琦跟一般的女孩不大一樣,她性格跟男孩子差不多,但身上集合了男生女生的優點。他說:“在隊里,陳丹琦這個唯一的女孩成了男生們的‘老大’。”他說,作為一名女生,陳丹琦的成績卻總是排在第一,這樣自然讓男生臉上掛不住,他們便一起不理丹琦,丹琦非但不像一般女孩子那么計較,反而主動找到隊友們進行溝通,直至大家融洽到一起。
陳丹綺覺得整天敲鍵盤,字不漂亮,就苦練書法七年,如今她已能寫得一手好行書。在學校里,低年級的同學崇拜地稱陳丹琦為“大牛”,“她學習好、字漂亮,樣樣都‘牛’。陳丹琦簡直就是學校的‘實力派偶像’!”朱全民老師說,“陳丹琦做事情很有計劃,她的性格像個男孩,好勝心比男生還強,才能成為信息學國家隊的第一個湘籍女生。”
正在哈佛大學從事博士后研究的俞華程
第20屆國際信息學奧林匹克競賽上,代表我國參賽的選手除了陳丹琦這唯一的女生外,還有三名男神:俞華程、周冬和余林韻,其中來自杭州二中的俞華程不僅獲得金牌第1名,還同時榮獲了由IOI和競賽組委會頒發的獎杯,并最終走進了陳丹琦的人生。
陳丹琦在10年后的博士畢業論文中這樣寫道:最后,在這里我要感謝俞華程對我的愛與支持(我們在這篇博士畢業論文提交之前 4 個月結婚了)。我在 15 歲時遇見了華程,從那時起我們一起經歷了幾乎所有的事情:從高中的編程競賽到清華大學美好的大學時光,然后又在 2012 年共同進入斯坦福大學攻讀計算機科學博士學位。在過去的十年里,他不僅是我的伴侶、我的同學、我最好的朋友,也是我最欽佩的人,因為他時刻保持謙虛、聰慧、專注與努力。沒有他,我就不會來到斯坦福。沒有他,我也不會獲得普林斯頓的職位。感謝他為我所做的一切。
她長得像周筆暢,卻喜歡的是李宇春,還喜歡動畫片《名偵探柯南》
“咦,這不是周筆暢嗎?周筆暢怎么掛塊金牌?”黃花機場幾位保潔大嬸在悄悄嘀咕。當她們得知這個長得與周筆暢十分相似的女孩是雅禮中學的學生,剛剛獲得第20屆國際信息學奧林匹克競賽金牌時,都拉著女孩的家長討教教育心得,并爭先恐后擠上去跟女孩合影。這個叫陳丹琦的女孩不厭其煩地告訴旁邊的人:“筆筆不是我的偶像,我喜歡的是李宇春。”
說起自己的愛好,陳丹琦帶著周筆暢似的微笑,一下變得有些頑皮,眼鏡片下透射出歡快的光芒:“我喜歡看電影、動畫,柯南、功夫熊貓都很喜歡,也愛聽流行歌曲,所有最新的流行歌曲我都會哼上兩句。”在學習之余,陳丹琦喜歡練練書法,看看動畫片,玩玩益智游戲,聽聽音樂。流行歌曲、當紅明星一個都不拉下。這樣她既調節了精神又恢復了腦力,還順便把行書練得龍飛鳳舞。
“陳丹琦不是個只讀書、讀死書的學生,她玩的時候像個男孩,上網、玩游戲樣樣都來,但不執迷其中,學玩分明。她對待學習很較真。她的成功是‘天分+追求+扎實的結果’。”班主任鄭理安說。陳丹琦說她的清華生活不僅要有信息學,還要有自己最愛的動畫片《名偵探柯南》和《功夫熊貓》。
她從清華姚班畢業,6年拿下斯坦福博士,最終獲得普林斯頓教職
在博士論文中,陳丹琦也介紹了自己博士期間的學習經歷。
對于我來說,在斯坦福的六年是一段難忘的寶貴經歷。2012 年剛開始讀博的時候,我甚至都不能說出流利的英語(按照要求,我要在斯坦福修 5 門英語課程),對這個國家也知之甚少,甚至從未聽說過「自然語言處理」這一概念。不可思議的是,在過去的幾年里我竟然一直在做語言方面的研究,訓練計算機系統理解人類語言(多數情況下是英語),我自己也在學習用英語進行溝通、寫作。同時,2012 年也是深度神經網絡開始起飛并主導幾乎所有我們今天看到的人工智能應用的一年。我從一開始就見證了人工智能的快速發展,并為即將成為這一浪潮的一份子而感到興奮(有時是恐慌)。如果沒有那么多人的幫助和支持,我也不可能走到今天。我由衷地感謝他們。
首先要感謝的是我的導師克里斯托弗·曼寧。我剛來斯坦福的時候還不知道 Chris。直到和他一起工作了幾年、學了 NLP 之后,我才意識到自己何其榮幸,能夠和這一領域如此杰出的人才共事。他對這一領域總是充滿洞察力,而且非常注重細節,還能很好地理解問題的本質。更重要的是,Chris 是一個非常善良、體貼、樂于助人的導師。有師如此,別無他求。他就像我的一位老友(如果他不介意我這么說的話),我可以在他面前暢所欲言。他一直對我抱有信心,即使有時候我自己都沒有自信。我一直都會對他抱有感激,甚至現在已經開始想念他了。
除了 Chris,我還想感謝 DanJurafsky 和 Percy Liang——斯坦福 NLPGroup 的另外兩位杰出人才————他們是我論文委員會的成員,在我的博士學習期間給予了我很多指導和幫助。Dan 是一位非常有魅力、熱情、博學的人,每次和他交談之后我都感覺自己的激情被點燃了。Percy是一位超人,是所有 NLP 博士生的榜樣(至少是我的榜樣)。我無法理解一個人怎么可以同時完成那么多工作,本論文的很大一部分都是以他的研究為基礎進行的。感謝 Chris、Dan 和 Percy 創建了斯坦福 NLP Group,這是我在斯坦福的家,我很榮幸成為這個大家庭的一員。
此外,Luke Zettlemoyer 成為我的論文委員會成員也讓我感到萬分榮幸。本論文呈現的工作與他的研究密切相關,我從他的論文中學到了很多東西。我期待在不遠的將來與他一起共事。
讀博期間,我在微軟研究院和 Facebook AI Research 獲得了兩份很棒的實習經歷。感謝 Kristina Toutanova、Antoine Bordes 和 Jason Weston 在實習期間給予我的指導。我在 Facebook 的實習項目最終給了我參與 DRQA 項目的契機,也成為了本論文的一部分。感謝微軟和 Facebook 給予我獎學金。
我要感謝我的父母 Zhi Chen 和Hongmei Wang。和這一代大多數中國學生一樣,我是家里的獨生子女。我和父母的關系非常親密,即使我們之間有著十幾個小時的時差而我每年只能擠出 2-3 周的時間來陪他們。是他們塑造了今天的我,廿載深恩,無以為報,只希望我目前所取得的一切能夠讓他們感到一絲驕傲和自豪吧。
致我的父母和俞華程,感謝他們無條件的愛。
她高中發明cdq分治和插頭dp,如今已成為用神經網絡方法解決NLU問題的先驅
陳丹琦目前正在訪問 Facebook 人工智能研究院 Facebook AI Research 和華盛頓大學,在今年秋季,她即將前往普林斯頓大學計算機科學系擔任助理教授。
她在高中(長沙市雅禮中學)參加信息學國家隊集訓期間提出了 cdq 分治算法,用于處理一類分治問題;在高中期間她還發明了插頭 DP,主要用于解決數據規模小的棋盤模型路徑問題。大牛果然在高中期間就已經“起飛”了。
她在清華學堂計算機科學實驗班(姚班)期間,獲得了2010 年 ACM ICPC 國際大學生程序設計競賽全球總決賽銀牌。
她在斯坦福攻讀博士期間,陳丹琦師從克里斯托弗·曼寧(Christopher Manning),在學期間曾在ACL,EMNLP,NIPS等自然語言處理與機器學習定會發表多篇文章。她在 2014 年發表的論文《A Fast and Accurate DependencyParser using Neural Networks》堪稱深度學習依存分析方法的「開山之作」,她和曼寧教授提出的方法在保持精度的前提下,將解析速度提高了 60 倍。
她的斯坦福大學計算機科學博士畢業論文引發了人們的廣泛關注。據斯坦福大學圖書館介紹,她長達 156 頁的畢業論文《Neural Reading Comprehension andBeyond》上傳僅四天就獲得了上千次的閱讀量,成為了斯坦福大學近十年來最熱門的畢業論文之一。
她的指導老師——斯坦福 AI 實驗室負責人、人工智能領域著名學者、斯坦福大學語言學和計算機科學教授克里斯托弗·曼寧(Christopher Manning)表示:“陳丹琦是使用神經網絡方法解決自然語言理解問題方面的先驅。她簡單、干凈、高成功率的模型吸引了眾人的目光……她的這篇畢業論文主要研究神經網絡閱讀理解和問答,這些新興技術正在帶來更好的信息訪問方式——它可以讓計算機系統可以真正回答你的實際問題,而不是簡單地返回文檔搜索結果。”
作者主頁:https://cs.stanford.edu/people/danqi/
論文鏈接:https://stacks.stanford.edu/file/druid:gd576xb1833/thesis-augmented.pdf
關注本公眾號,后臺發送:cdq,下載陳丹琦高中期間信息學國家集訓隊作業《從<Cash>談一類分治算法的應用》(cdq分治)、國家集訓隊論文《基于連通性狀態壓縮的動態規劃問題》(插頭dp)和博士畢業論文《Neural Reading Comprehension and Beyond》。
這篇畢業論文名為《Neural Reading Comprehension and Beyond》,描述了她在博士期間的三個重要研究,以解決「人工智能中最難以捉摸和長期存在的挑戰之一」:如何讓機器學會理解人類語言。讓我們看看她的畢業論文究竟說了什么。
摘要
教機器學會理解人類語言文本是人工智能領域最困難的長期挑戰之一。本論文致力于解決閱讀理解問題,即如何構建一個計算機系統來閱讀一段文本并回答理解問題。一方面,我們認為閱讀理解是衡量計算機系統理解人類語言程度的重要任務。另一方面,如果我們可以構建高性能的閱讀理解系統,那么這些系統就會成為問答、對話系統等應用的關鍵技術。
本論文聚焦于神經閱讀理解,這是一類構建在深度神經網絡之上的閱讀理解模型。與基于特征的手工傳統模型相比,這些端到端的神經模型已被證明在學習豐富的語言現象方面更加有效,在所有現有閱讀理解基準測試中都有大幅度的提高。
本論文包含兩個部分。第一部分旨在概括神經閱讀理解的本質并展示我們在構建高效神經閱讀理解模型方面所做的工作。更重要的是了解神經閱讀理解模型實際上學習了什么,以及解決當前任務需要怎樣的語言理解深度。我們還總結了該領域的當前進展并討論了未來的發展方向以及一些待解決的問題。
第二部分將探討如何基于神經閱讀理解的當前成果構建實際應用。我們開拓了兩個研究方向:1)我們如何將信息檢索技術與神經閱讀理解相結合,來解決大型開放域問答問題;2)我們如何從當前基于跨距的(span-based)單輪(single-turn)閱讀理解模型構建對話問答系統。我們在 DRQA 和 COQA 項目中實現了這些想法,證明了這些方法的有效性。我們相信,這些技術對于未來的語言技術將非常有幫助。
神經閱讀理解的發展歷程:數據集(黑色)與模型(藍色):
斯坦福帶有注意力機制的閱讀方法介紹
神經閱讀理解的應用:Watson中用到的DeepQA
開放域問答系統:DrQA