現如今，隨著人工智能技術的迅速發展，人們普遍認為，未來的交通系統將由自動駕駛汽車（AV）所主導。可以說，對于更為安全的交通設施的需求是引起人們對自動駕駛汽車感興趣并推動其發展的一個主要推動力。但不可否認，就現在而言，可靠和具有魯棒性的自動駕駛汽車技術的發展仍然是一個持續的挑戰，對可靠的運動規劃和碰撞避免機制的研究尤其重要。最近，堪薩斯州立大學（Kansas State University，KSU）的科學家了提出了一種基于深度強化學習的新框架，用于對自動駕駛汽車的碰撞避免機制的行為進行基準測試。

現如今，隨著人們對自主導航的興趣日益增長，關于運動規劃和碰撞避免技術（collision avoidance techniques）的研究已經加速了全新提議和新進展的速度。然而，新技術的復雜性及其安全性要求使得當前的大部分基準測試框架不充分，因此對高效的比較技術的需求沒有得到滿足。這項研究提出了一種基于深度強化學習的新框架，用于在處理最佳對抗性智能體的最壞情況下對碰撞避免機制的行為進行基準測試，該最佳對抗性智能體進行訓練從而將系統驅動到不安全狀態。我們將這個框架的體系結構和流程描述為一個基準測試解決方案，并通過一個比較兩種碰撞避免機制的可靠性的實際案例研究來證明其有效性，從而對有意識的碰撞嘗試做出回應。

人們普遍認為，未來的交通系統將由自動駕駛汽車（AV）所主導。隨著近年來這一領域的迅速發展，許多人預測這種轉變將在未來十年內發生。對更為安全的交通運輸的需求，是引起人們興趣和推動自動駕駛汽車發展的一個主要動機。一般認為，用專家計算模型代替人類駕駛員的內在缺陷，可以顯著減少由駕駛員的誤差所導致的事故數量。然而，可靠和具有魯棒性的自動駕駛汽車技術的發展仍然是一個持續的挑戰，并且人們正在積極從各個研究和發展方向來追求這一目標。

圖1：對抗性目標的圖釋

對可靠的運動規劃和碰撞避免機制的研究尤其重要。在過去數十年的時間里，科學家們已經提出了許多解決這個問題的方法，從控制理論形式化和最優控制方法到潛在的基于場和規則的技術（field- and rule-based techniques），等等。最近，機器學習的進步使得基于諸如模仿學習和深度強化學習（RL）等技術的全新數據驅動的碰撞避免方法成為可能。然而，隨著其部署環境和機制日益復雜，為這些解決方案提供安全保障的挑戰變得越來越困難。一個值得注意的例子是交通碰撞避免系統（TCAS），在它廣泛部署到NextGen商用飛機之前，它就已經滿足了聯邦航空局（FAA）的嚴格安全要求。然而，最近的一些表現表明它在現代高密度空域中非常不可靠，在一定程度上，它可能會導致不可避免的碰撞狀態（ICS）——不管未來的軌跡如何，最終都會發生碰撞。此外，最近的研究表明，自動感知和避免機制可以被對抗性地加以利用以操縱自動駕駛車輛的運動軌跡。

作為回應，科學家們提出了越來越多的緩解技術和全新的安全運動規劃方法，但每一種都有特定的特定于案例的假設和驗證程序。因此，對這些方法進行定量比較變得非常困難。當前最為先進的方法包括在運動規劃和碰撞避免中對安全行為進行基準測試的幾次嘗試，但是許多現有的框架未能滿足基于機器學習的新自適應技術的要求。而且，目前的基準測試框架并不能提供全面的和具有魯棒性的探測機制，用于在不理想狀態和軌跡的復雜空間中進行探索。這種框架中的突出方法是基于隨機化或基于情景的障礙產生，這些障礙很容易丟失特定于被測機制的關鍵ICS或其他不需要的狀態。這些框架中的另一種方法依賴于計算上昂貴的碰撞狀態可達性分析技術，而這也無法為安全運行的關鍵邊界提供具體的保證。

圖2：實驗環境設置

為了彌補以安全為中心的基準測試的缺陷，本文提出了一種基于機器學習的新框架，用于在與最優對抗性智能體進行交互的最壞情況下對新技術的可靠性進行基準測試。該框架采用深度強化學習的強大的探索和優化性能來訓練對抗性自主智能體，而該智能體的目標是學習旨在將系統驅動到ICS和其他不安全狀態的最佳導航策略。根據分析的參數和目標，這些目標可能包括對抗性智能體與自動駕駛汽車的直接碰撞，或利用避免碰撞機制來操縱自動駕駛汽車的軌跡以改變和控制其路徑，或間接誘發自動駕駛汽車和環境中的其他物體之間的碰撞。

在此基礎上，這項研究的主要貢獻包括：

1）提出碰撞避免算法的最壞情況基準測試的計算框架和處理流程，且獨立于其復雜性、隨機性以及自適應動力學。

2）提出深度強化學習過程流程以無縫地適應于被測系統，并克服完全隨機或基于情景的探索機制的缺點。

3）提出關于碰撞避免算法標準化比較的全新的衡量指標。

4）通過一個比較兩種碰撞避免機制應對故意碰撞企圖的可靠性的實際案例研究，來證明所提出框架的實際應用和效果。

圖3：實驗結果——平均超過100次運行

總而言之，在本文中，我們提出了一個流程和框架，它利用對抗性深度強化學習來衡量自動駕駛汽車的運動規劃和碰撞避免機制的可靠性。我們已經確立了這一框架的優勢，要超過當前的基準測試規劃，其中包括靈活性和通用性、通過針對特定系統下測試、樣本效率和自定義探索機制對對抗性策略進行訓練獲得的適用性探測，以及為不同系統之間的基準測試和比較提供基線（例如，最壞的情況）測量。

可以這樣說，本文所提出框架的直接架構為進一步研究提供了一些潛在的研究領域。緊隨而來的下一個步驟就是將此框架應用于顯著的和最近發布的運動規劃和碰撞避免技術中，目的是為相關研究項目創建參考基準。另一個有發展前景的研究領域是檢查近期發布技術的適用性，這些已發布的技術聲稱在對抗性干擾下進行訓練可以增強策略的適應力和魯棒性。因此，通過對對抗性策略和碰撞避免的強化學習模型的結合性訓練進行調查，可能會出現潛在的緩解和防御技術。