原作：Andrej Karpathy

安妮 編譯自 Medium

量子位 出品 | 公眾號(hào) QbitAI

本文作者Andrej Karpathy，現(xiàn)任特斯拉人工智能負(fù)責(zé)人，曾任OpenAI研究專(zhuān)家。在斯坦福大學(xué)讀博時(shí)師從李飛飛，主要研究方向是卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、自然語(yǔ)言處理及它們?cè)谟?jì)算機(jī)視覺(jué)上的應(yīng)用。 Karpathy認(rèn)為，我們已經(jīng)進(jìn)入了軟件2.0時(shí)代。

經(jīng)常看到人們將神經(jīng)網(wǎng)絡(luò)稱(chēng)為“機(jī)器學(xué)習(xí)工具箱中的另一個(gè)工具”，我不太認(rèn)同，這是一種只見(jiàn)樹(shù)木不見(jiàn)森林的短淺理解。神經(jīng)網(wǎng)絡(luò)不只是另一個(gè)分類(lèi)器，還是編寫(xiě)軟件基本轉(zhuǎn)變的開(kāi)始——帶領(lǐng)我們進(jìn)入了軟件2.0時(shí)代。

我們熟悉的軟件1.0的“經(jīng)典堆棧”是用Python、C++等語(yǔ)言編寫(xiě)的計(jì)算機(jī)顯式指令。通過(guò)編寫(xiě)每一行代碼，程序員在程序空間中識(shí)別性能好的特定點(diǎn)。

與1.0不同，軟件2.0是用神經(jīng)網(wǎng)絡(luò)的權(quán)重編寫(xiě)的。因?yàn)樯婕昂芏鄼?quán)重，直接在權(quán)重中編碼很困難，因此程序員不參與代碼編寫(xiě)工作。

在軟件2.0中，我們?yōu)槔硐氤绦虻男袨橐?guī)定了一些約束條件，并用計(jì)算資源搜索程序空間來(lái)滿足它們。在神經(jīng)網(wǎng)絡(luò)示例中，我們將搜索限制在程序空間的一個(gè)連續(xù)子集里。

事實(shí)證明，現(xiàn)實(shí)世界中的大部分問(wèn)題都有這樣的特性，即收集數(shù)據(jù)比顯式編程容易得多。未來(lái)大部分程序員無(wú)需維護(hù)復(fù)雜的軟件庫(kù)、編寫(xiě)復(fù)雜的程序，或者分析它們的運(yùn)行時(shí)間。他們只負(fù)責(zé)收集、清理、操作、打標(biāo)簽、分析和可視化為神經(jīng)網(wǎng)絡(luò)提供信息的數(shù)據(jù)即可。

不過(guò)，軟件2.0不會(huì)取代1.0。實(shí)際上，還需要大量1.0基礎(chǔ)結(jié)構(gòu)進(jìn)行訓(xùn)練和推理，以“編譯”2.0代碼。但是，它將接管軟件1.0的大部分工作內(nèi)容。讓我們通過(guò)一些正在進(jìn)行的轉(zhuǎn)變，了解1.0和2.0間的變化。

視覺(jué)識(shí)別：過(guò)去做視覺(jué)識(shí)別相關(guān)任務(wù)時(shí)，用到的是特征工程加一點(diǎn)點(diǎn)SVM之類(lèi)的機(jī)器學(xué)習(xí)方法。特斯拉開(kāi)始開(kāi)發(fā)更強(qiáng)大的在ConvNet架構(gòu)中的圖像分析程序由來(lái)已久，最近開(kāi)始在架構(gòu)上進(jìn)行搜索。

語(yǔ)音識(shí)別：曾涉及大量的預(yù)處理、高斯混合模型和隱馬爾可夫模型，但今天幾乎全部由神經(jīng)網(wǎng)絡(luò)構(gòu)成。

語(yǔ)音合成：之前曾有有各種各樣的縫合機(jī)制，但今天最先進(jìn)的模型是大型的卷積網(wǎng)絡(luò)，可以產(chǎn)生原始音頻信號(hào)輸出(如WaveNet)。

機(jī)器翻譯：之前通常采用基于短語(yǔ)的統(tǒng)計(jì)技術(shù)，但神經(jīng)網(wǎng)絡(luò)正迅速占據(jù)主導(dǎo)地位。我最喜歡的一個(gè)架構(gòu)是在多語(yǔ)言環(huán)境下進(jìn)行的，在弱監(jiān)督(或完全不受監(jiān)督)的條件下，一個(gè)模型可以從任何源語(yǔ)言轉(zhuǎn)換到任何目標(biāo)語(yǔ)言。

機(jī)器人技術(shù)：曾經(jīng)需要將問(wèn)題分解成多個(gè)模塊，如感知、姿態(tài)估計(jì)、規(guī)劃、控制、不確定性建模等，并在中間表示中使用顯式表示和算法。但最近加州大學(xué)伯克利分校和谷歌的研究表明，軟件2.0或許能夠更好地代表所有這些代碼。

游戲：圍棋程序起源可以追溯到好幾十年前，但AlphaGo Zero已成為游戲中最強(qiáng)大玩家。我希望在其他領(lǐng)域也能看到類(lèi)似的結(jié)果，比如DOTA 2和星際爭(zhēng)霸等游戲。

心細(xì)的朋友發(fā)現(xiàn)，上面很多研究都涉及到谷歌的工作。這是因?yàn)椋雀枘壳疤幱趯⒆陨泶蟛糠周浖匦戮帉?xiě)為2.0版的前沿。“一個(gè)模型來(lái)管理它們”的觀念是谷歌早期構(gòu)想的草圖，在那里，各領(lǐng)域的統(tǒng)計(jì)強(qiáng)度將被合并成一致的對(duì)世界的理解。

軟件2.0的優(yōu)劣勢(shì)

為什么我們更喜歡將復(fù)雜的程序變成軟件2.0的形式？

原因很多。讓我們來(lái)看看軟件2.0（請(qǐng)自動(dòng)聯(lián)想卷積網(wǎng)絡(luò))和軟件1.0（請(qǐng)聯(lián)想生產(chǎn)級(jí)的C++代碼庫(kù)）的好處。總體來(lái)說(shuō)，2.0版的軟件具有以下優(yōu)勢(shì)：

計(jì)算均勻：典型的神經(jīng)網(wǎng)絡(luò)歸結(jié)為一階只需兩步操作，即0(ReLU)矩陣乘法和閾值。與經(jīng)典軟件指令集相比，2.0版軟件具有明顯的異源性和復(fù)雜性。你只需為一小部分核心計(jì)算原語(yǔ)提供軟件1.0實(shí)現(xiàn)(例如矩陣乘法等)，就能保證操作正確性。

更容易制成芯片：由于神經(jīng)網(wǎng)絡(luò)的指令集相對(duì)較小，更容易被制成芯片，例如自定義ASIC芯片、神經(jīng)形態(tài)芯片等。當(dāng)?shù)凸β实闹悄軣o(wú)處不在時(shí)，世界將發(fā)生改變。小巧而便宜的芯片可以裝載著預(yù)先訓(xùn)練的卷積網(wǎng)絡(luò)、語(yǔ)音識(shí)別器和WaveNet語(yǔ)音合成網(wǎng)絡(luò)等，它們都集成在一個(gè)你可以附加在任何東西的小型芯片中。

恒定的運(yùn)行時(shí)間：典型的神經(jīng)網(wǎng)絡(luò)前向傳播的每一次迭代每秒能夠執(zhí)行的浮點(diǎn)運(yùn)算的平均次數(shù)(FLOPS)都相同。你的代碼通過(guò)擴(kuò)展的C++代碼庫(kù)執(zhí)行不同的路徑的可變性為0。當(dāng)然，你也可以用動(dòng)態(tài)計(jì)算圖，但執(zhí)行流通常仍然受到極大的限制。

使用常量?jī)?nèi)存：與上面所說(shuō)的運(yùn)行時(shí)間相關(guān)，因?yàn)闆](méi)有動(dòng)態(tài)分配的內(nèi)存，所以不存在交換到磁盤(pán)或在代碼中搜索泄露內(nèi)存的可能性。

高度可移植性：與經(jīng)典二進(jìn)制或腳本相比，2.0版在任意計(jì)算配置上運(yùn)行矩陣相乘序列要容易得多。

非常敏捷：如果需要把你的C++代碼的運(yùn)行速度提升一倍，效果可以稍微差一點(diǎn)點(diǎn)，這會(huì)是一件非常麻煩的事，在軟件1.0里，需要為了新標(biāo)準(zhǔn)而對(duì)系統(tǒng)進(jìn)行重大調(diào)整。然而，在2.0版本中，我們可以刪掉網(wǎng)絡(luò)中一半的通道（channel）再訓(xùn)練——這時(shí)它的運(yùn)行速度提升了一倍，效果不太好。如果的數(shù)據(jù)足夠多，計(jì)算力足夠強(qiáng)，你可以通過(guò)增加更多的通道和訓(xùn)練讓程序更好用。

模塊可以整合成一個(gè)最優(yōu)整體：1.0時(shí)代，軟件通常被分割為通過(guò)公共函數(shù)、API或端點(diǎn)進(jìn)行通信的模塊。然而，如果兩個(gè)2.0模塊最初是單獨(dú)訓(xùn)練的，我們能夠輕松在整個(gè)過(guò)程中進(jìn)行反向傳播。想象一下，如果你的web瀏覽器能自動(dòng)自動(dòng)重新設(shè)計(jì)低級(jí)別的系統(tǒng)指令實(shí)現(xiàn)高效加載網(wǎng)頁(yè)，這該有多好。你很幸運(yùn)，2.0版本可以實(shí)現(xiàn)這個(gè)場(chǎng)景。

容易上手：我喜歡開(kāi)玩笑說(shuō)深度學(xué)習(xí)很簡(jiǎn)單。平日用到的基本概念包含線性代數(shù)、微積分、Python和一些CS231n講座上的知識(shí)。更準(zhǔn)確的說(shuō)法是，軟件2.0的堆棧很容易理解，但卻不容易掌握。

比想象的還要好：最重要的是，神經(jīng)網(wǎng)絡(luò)比會(huì)為你或我能想到的垂直領(lǐng)域帶來(lái)最好的代碼，目前的研究已經(jīng)涉及到與圖像/視頻、聲音/語(yǔ)音和文本有關(guān)的內(nèi)容。

2.0版也有它自己的缺點(diǎn)。有時(shí)你甚至不知道你搭建失敗了，它們可以“于無(wú)聲中失敗”。比如，如果訓(xùn)練數(shù)據(jù)中悄悄混進(jìn)了一些偏差，你通常很難正確地進(jìn)行分析，把它們從大量數(shù)據(jù)中檢查出來(lái)。

寫(xiě)在最后

如果你把神經(jīng)網(wǎng)絡(luò)看作是一個(gè)軟件堆棧而不僅僅是分類(lèi)器，你就會(huì)發(fā)現(xiàn)它們有巨大的優(yōu)勢(shì)和潛力來(lái)改變軟件。

從長(zhǎng)遠(yuǎn)來(lái)看，軟件2.0在開(kāi)發(fā)AGI的過(guò)程中越來(lái)越清晰，是未來(lái)編程的主流。

可能你想問(wèn)軟件3.0是什么樣子的，我也不知道，這完全取決于AGI。

最后，附原文連接：

https://medium.com/@karpathy/sofatware-2-0-a64152b37c35

— 完 —

誠(chéng)摯招聘