精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕

2022年6月3日，美國防高級研究計劃局（DARPA）宣布推出最新的人工智能（AI）項目——“有保證的神經(jīng)符號學習和推理”（ANSR），試圖以新的、混合的（神經(jīng)符號）AI算法的形式來解決諸多挑戰(zhàn)，該算法將符號推理與數(shù)據(jù)驅(qū)動的學習深度融合，以創(chuàng)建強大的、有保證的、因而值得信賴的系統(tǒng)。

項目背景

    

   

自主和高度自主系統(tǒng)是美國防部  (DoD)  諸多任務(wù)，包括情報、監(jiān)視和偵察  (ISR)、后勤、規(guī)劃、指揮和控制等所需的能力。所謂的好處很多，包括：1.改進的作戰(zhàn)節(jié)奏和任務(wù)速度；2.降低作戰(zhàn)人員在自主系統(tǒng)操作和監(jiān)督方面的認知需求；3.增加對峙以提高作戰(zhàn)人員的安全性。正如2016年國防科學委員會  (DSB)  關(guān)于自主的報告所強調(diào)的那樣，與自主相關(guān)的一個關(guān)鍵需求是對可信賴性和信任的需要。一般而言，信任是對自主系統(tǒng)執(zhí)行未指定任務(wù)的能力的信心表達。確保自主系統(tǒng)安全運行并按預期運行是信任的組成部分，這是國防部成功采用自主的關(guān)鍵。

自DSB自主報告發(fā)布以來的六年中，機器學習(ML)算法取得了重大改進，這些算法對于實現(xiàn)自主至關(guān)重要。同時，保證技術(shù)的創(chuàng)新提供了在設(shè)計時評估系統(tǒng)的正確性和安全可信度并在運行時具有彈性的機制。盡管取得了這些進展，但高度自主仍然難以捉摸，DARPA將其歸因于數(shù)據(jù)驅(qū)動的機器學習的基本限制，這激發(fā)了新的思維和方法，將機器學習超越數(shù)據(jù)驅(qū)動的模式識別并用知識增強它——包括上下文、物理和其他背景信息的驅(qū)動推理。

過去十年見證了數(shù)據(jù)驅(qū)動ML應用的巨大進步，這得益于計算能力和數(shù)據(jù)的增長，其領(lǐng)域涵蓋從棋盤游戲到蛋白質(zhì)折疊、語言翻譯到醫(yī)學圖像分析等廣泛領(lǐng)域。在其中幾個應用程序、ML和相關(guān)技術(shù)已經(jīng)證明了在一組狹義的指標方面可以與人類能力相媲美，有時甚至超過人類能力的性能。然而，盡管取得了這些明顯的成功，但仍有許多與最先進(SOTA)ML算法相關(guān)的問題。例如，眾所周知，SOTA ML算法不能很好地泛化, 缺乏透明度和可解釋性，對環(huán)境不穩(wěn)健和對抗性擾動。存在一些限制，例如對對抗性示例缺乏強健性，在理論上已被確定為本質(zhì)上的基礎(chǔ)。

工業(yè)ML研究的主流趨勢是擴大到千兆級和兆兆級模型（數(shù)十億個參數(shù)的數(shù)百個），作為提高準確性和性能的一種手段。這些趨勢是不可持續(xù)的，因為訓練此類模型需要極高的計算量和數(shù)據(jù)，以及縮放定律。這些趨勢也無法響應國防部應用程序的需求，這些應用程序通常缺乏數(shù)據(jù)和計算能力，對云規(guī)模計算資源的訪問有限。此外，DoD應用程序是安全的和關(guān)鍵任務(wù)的，需要在看不見的環(huán)境中運行，需要可審計，并且需要人工操作員信任?？偠灾琈L研究的主流趨勢不利于DoD應用程序的可保證性和可信賴性需求。

構(gòu)建智能應用程序和自主系統(tǒng)的傳統(tǒng)方法在很大程度上依賴于知識表征和符號推理。例如，這些方法中的復雜決策通常使用基于條件的編程規(guī)則、在有限狀態(tài)機中編碼的狀態(tài)邏輯以及使用常微分方程表征的環(huán)境和對象的基于物理的動力學來實現(xiàn)。這些經(jīng)典技術(shù)有許多優(yōu)點： 

·  它們使用豐富的抽象，這些抽象基于領(lǐng)域理論和相關(guān)的形式，并得到高級工具和方法（Statecharts、Stateflow、Simulink 等）的支持；

·  它們可以是模塊化和可組合的，以軟件工程實踐支持的方式促進重用、精確和自動化分析； 

·  它們可以通過正式規(guī)范和驗證技術(shù)支持的方式進行分析和保證，這些技術(shù)已在強化任務(wù)和安全關(guān)鍵系統(tǒng)免受網(wǎng)絡(luò)攻擊方面得到驗證。

然而，這些方法在實際自主應用中使用時也有局限性。它們在處理現(xiàn)實世界的不確定性和高維感官數(shù)據(jù)時表現(xiàn)不佳，這是感知和情境理解應用程序不可或缺的，這些決策應用程序中的規(guī)則集和狀態(tài)邏輯在暴露于意外情況時通常是不完整和不充分的。此外，眾所周知，常識性知識難以編纂。例如，Cyc知識庫包含數(shù)百萬個概念和數(shù)千萬條規(guī)則，但對于許多現(xiàn)實世界的任務(wù)來說還不夠。

確保具有ML組件的網(wǎng)絡(luò)物理系統(tǒng)  (CPS)  的挑戰(zhàn)一直是DARPA正在進行的  “有保證自主”（Assured Autonomy）項目以及其他研究項目支持的一個活躍研究領(lǐng)域。具體來說，在Assured Autonomy項目中開發(fā)的保證方法產(chǎn)生了：1.形式化和基于模擬的驗證工具，可以全面探索 CPS的行為；2.可以檢測ML組件與預期輸入和行為的偏差的監(jiān)控工具，避免最壞情況下的安全后果的復原力和恢復策略；3.一個保證案例框架，能夠以證據(jù)支持結(jié)構(gòu)化論證，以支持已識別重大安全危害且其根本原因已得到充分緩解的主張。

保證技術(shù)的進步，包括形式化和基于模擬的方法，有助于加速識別ML算法的故障模式和缺陷。不幸的是，修復SOTA ML中缺陷的能力仍然僅限于再訓練，這并不能保證消除缺陷或提高ML算法的通用性。此外，雖然運行時保證架構(gòu)（包括監(jiān)控和恢復）確保了操作安全，但頻繁調(diào)用回退恢復（由ML的脆弱性和普遍性觸發(fā)）會損害完成任務(wù)的能力。

因此，根據(jù)ANSR的目標，DARPA將一個系統(tǒng)定義為值得信賴的，如果它具備以下特征：1.對領(lǐng)域知情和對抗性擾動具有強健性；2.得到保證框架的支持，該框架為安全和風險評估創(chuàng)建和分析異質(zhì)證據(jù)；3. 對“適應度”的某些規(guī)范和模型是可預測的。

DARPA假設(shè)當今ML的一些限制是：1.無法結(jié)合上下文和背景知識的結(jié)果；2.將每個數(shù)據(jù)集視為一個獨立的不相關(guān)輸入。在現(xiàn)實世界中，觀察結(jié)果通常是相關(guān)的，并且是潛在因果機制的產(chǎn)物，可以建模和理解。DARPA認為，能夠獲取和集成符號知識并大規(guī)模執(zhí)行符號推理的混合AI 算法將提供穩(wěn)健的推理，推廣到新情況，并提供保證和信任的證據(jù)。

DARPA設(shè)想修改訓練和推理過程以將符號和神經(jīng)表示交錯以進行迭代推理和表示的相互適應，以利用每種表征的好處并減少每種表征的限制。修改后的訓練過程將產(chǎn)生基于域特定符號的表示，本質(zhì)上是神經(jīng)網(wǎng)絡(luò) (NN) 隱式數(shù)據(jù)表示的符號等價物。修改后的推理過程迭代地收斂到符合符號和神經(jīng)表示的響應。符號表示可以明確地包括先驗知識和特定領(lǐng)域的規(guī)則和約束，并能夠根據(jù)規(guī)范和保證參數(shù)的構(gòu)造進行驗證。

最近針對特定應用的一些結(jié)果提供了信心的基礎(chǔ)。例如，最近的一項研究構(gòu)建了一種混合強化學習  (RL)  架構(gòu)的原型，該架構(gòu)通過數(shù)據(jù)驅(qū)動學習獲取一組符號策略。符號策略采用可解釋和可驗證的小程序的形式。該方法顯然繼承了兩全其美：它學習在已知環(huán)境中高性能的策略，并且通過在未知環(huán)境中保持安全（無崩潰）來很好地概括。另一種最近的方法使用符號推理來修復NN在估計場景中的對象姿勢時的錯誤，并且它在幾種情況下實現(xiàn)了更高的準確度（比基線高30-40%）。

ANSR項目開發(fā)的混合人工智能技術(shù)將實現(xiàn)新的任務(wù)能力。該項目旨在驗證能夠確保執(zhí)行獨立的ISR任務(wù)，以開發(fā)高度動態(tài)密集城市環(huán)境的通用作戰(zhàn)圖  (COP)。執(zhí)行ISR任務(wù)的自主系統(tǒng)將攜帶效果有效載荷，以減少傳感器到效果的交付時間。雖然效果的傳遞由人在回路控制，但效果承載系統(tǒng)本質(zhì)上是一個安全和任務(wù)關(guān)鍵型系統(tǒng)，因此需要對避免碰撞和任務(wù)性能有強有力的保證。SOTA機器學習或獨立的符號推理系統(tǒng)無法實現(xiàn)自主系統(tǒng)在深入了解情況和決策方面所需的能力。訓練數(shù)據(jù)稀疏，進一步激發(fā)了混合AI 方法的使用。

 項目說明

    

   

ANSR項目的首要目標是推進混合AI算法并開發(fā)基于證據(jù)的技術(shù)，以支持對這些算法進行自信的保證判斷。該項目旨在探索各種混合架構(gòu)，這些架構(gòu)可以以先驗知識為種子，通過學習獲得統(tǒng)計和符號知識，并適應學習的表示。該項目旨在通過與國防部任務(wù)相關(guān)的用例來演示和評估混合人工智能技術(shù)，其中保障和自主性是關(guān)鍵任務(wù)。

ANSR項目設(shè)想了一種新的表示學習和推理方式，以引領(lǐng)混合人工智能。SOTA ML，特別是NN，可以被視為學習低維高維數(shù)據(jù)集的表示。下圖提供了過度簡化的訓練過程渲染?；疑∩绞顷P(guān)于NN的參數(shù)（或權(quán)重）的目標函數(shù)（損失函數(shù)）的描述。灰色山丘上的每個點都是該參數(shù)空間中的一個點，表示目標函數(shù)相對于NN的當前參數(shù)配置的值。

獨立的神經(jīng)機器學習需要爬上梯度來優(yōu)化目標函數(shù)。最佳配置表征最適合訓練數(shù)據(jù)。該表征雖然非常適合基礎(chǔ)訓練數(shù)據(jù)，但仍然不知道產(chǎn)生數(shù)據(jù)的因果關(guān)系或基礎(chǔ)機制。在缺乏關(guān)于底層機制的任何知識的情況下，推理任務(wù)仍然受訓練數(shù)據(jù)分布的約束，并且無法泛化超出訓練數(shù)據(jù)分布。

此訓練過程的變體可能會考慮領(lǐng)域知識，并嘗試根據(jù)領(lǐng)域原語來學習數(shù)據(jù)的表征。圖中的淺藍色云描繪了此類域圖元的空間，可以是數(shù)學方程、由特定域圖元（組件或函數(shù)）組成的符號程序或其他表示形式。修改后的訓練過程需要將數(shù)據(jù)驅(qū)動的更新與尋找可以重現(xiàn)數(shù)據(jù)的特定領(lǐng)域原語的組合的綜合問題交織在一起。學習到的符號表征可以與神經(jīng)表征相結(jié)合，用于重新評估目標函數(shù)。迭代更新一直持續(xù)到符號表征中的固定點，當與神經(jīng)表征結(jié)合時，最大化目標函數(shù)。此訓練過程的結(jié)果是可用于推理的數(shù)據(jù)的混合神經(jīng)和符號表征。可以說，這種混合表征可以結(jié)合兩全其美，即數(shù)據(jù)驅(qū)動的學習和符號推理，以及在不確定的現(xiàn)實世界情況下更好的性能、可概括性、可解釋性和可保證性的潛在好處。

值得注意的是，上述方法只是學習混合神經(jīng)和符號表征的一種概念方法，而不是作為解決方案的處方。ANSR項目預期許多架構(gòu)最適合特定的應用任務(wù)將神經(jīng)和符號表征與不同的方法相結(jié)合，以獲取、優(yōu)化和在推理中使用緊密耦合的神經(jīng)和符號表征。

 項目技術(shù)領(lǐng)域

    

   

ANSR項目的發(fā)展將在以下總結(jié)的四個技術(shù)領(lǐng)域（TA）中進行協(xié)調(diào)：

TA1 的目標是開發(fā)和建模新的人工智能算法和架構(gòu)，將符號推理與數(shù)據(jù)驅(qū)動的機器學習深度集成。TA1將探索和評估一系列適用于不同任務(wù)的可能算法和架構(gòu)模式。

TA2 的目標是開發(fā)保證框架和方法，以獲取和整合正確性證據(jù)并量化特定任務(wù)的風險。TA2將建立一個管道，將混合神經(jīng)符號表征抽象為形式上可分析的表征，并根據(jù)一組任務(wù)相關(guān)規(guī)范對其進行分析。TA2還將探索估計和量化特定任務(wù)風險的技術(shù)。

TA3的目標是開發(fā)用例和架構(gòu)，用于混合AI算法的工程任務(wù)相關(guān)應用，適用于演示和評估穩(wěn)健和有保證的性能。具體而言，ANSR項目打算通過確保執(zhí)行獨立的ISR任務(wù)來進行演示驗證，以開發(fā)高度動態(tài)密集城市環(huán)境的通用作戰(zhàn)圖  (COP)。

TA4 的目標是：1.開發(fā)具有對抗性AI的保證測試工具；2.評估各個技術(shù)領(lǐng)域的技術(shù)及其在系統(tǒng)中的構(gòu)成。TA4將充當紅隊，通過對抗性評估來調(diào)查保證聲明的有效性。TA4還將細化提議的計劃指標，并定義衡量系統(tǒng)可信度的特征。TA4將需要通過采用混雜擾動并量化系統(tǒng)性能損失的對抗性評估來評估穩(wěn)健性、普遍性和保證聲明。

項目階段和時間表

    

   

ANSR項目分為三個階段。第一階段將持續(xù) 18個月，將開發(fā)和驗證高風險技術(shù)組件情況理解、活動識別和安全機動決策。第一階段實驗將是在游戲環(huán)境中并通過SIMexp進行的多個部分線程：（線程1）展示了安全可靠的機動決策，同時假設(shè)完美感知；  （線程2）演示驗證活動識別和情況理解，同時假設(shè)人工引導的安全操作；（線程3）演示COP開發(fā)、洞察力和分析，同時假設(shè)完美感知和人類引導的安全操作。評估將根據(jù)任務(wù)能力指標以及SOTA基線進行。

ANSR項目的第二階段將持續(xù)15個月，將整合這些單獨的線程，并演示驗證閉環(huán)態(tài)勢理解、確保和安全的機動決策、COP構(gòu)建和分析，以用于獨立ISR任務(wù)的端到端演示。評估將針對任務(wù)能力指標（例如，COP 完整性、準確性和及時性、掃描效率、所需人力、傳感器到效果時間線）和技術(shù)指標（例如，保證有效性、穩(wěn)健性、普遍性、準確性）。

ANSR項目的第三階段也將持續(xù)15個月，將演示驗證端到端ISR任務(wù)，并在國防部設(shè)施中進行現(xiàn)場演習。除了任務(wù)能力和技術(shù)指標外，評估還將包括事后審查和士兵反饋。

出于預算目的，2023年1月5日作為所有ANSR項目的開始日期。