實現自動化安全還需裝好護欄

你會放手讓未成年的孩子開車嗎？顯然這是非常魯莽又危險的行為，但是如果是在游樂場里或封閉的專用賽道上，這么做的安全性就另當別論了，因為有安全圍欄等措施對駕駛者進行保護。

安全研究人員一直努力地讓人工智能、機器學習和自動化徹底改變傳統的安全實踐，實現“自主安全”狀態。但就目前人工智能（AI）技術的應用成熟度來看，要完全代替安全專業人員來進行決策和采取行動，就好比讓小孩子自己開車出去兜風，如果沒有采取適當的保護措施，隨時都可能會發生嚴重的安全事故或后果不堪設想的風險事件。在此背景下，我們應該給主動安全技術平穩應用構建哪些順應人工智能發展的護欄呢？不妨考慮以下三個問題：

?人工智能/機器學習、決策和自動化彼此有怎樣的聯系？

?現在的人工智能、機器學習和自動化決策能力成熟度如何？

?當智能技術發展到何種狀態才能應用于安全領域？

為了回答這每一個問題，我們不妨審視以下三個模型框架：OODA循環、DARPA的人工智能三波浪潮（Three Waves of AI）和古典教育（Classical Education）。

OODA循環

OODA循環代表Observe（觀察）、Orient（定位）、Decide（決定）和Act（行動），也可以被進一步理解為：感知、理解、決策和行動。

在這個框架內，人工智能/機器學習（理解）有別于自動化（行動），并通過決策功能連接起來。自主意味著不自覺或無意識。在這個框架的背景下，自主可能意味著跳過理解和決策環節（比如不自覺的刺激反應反射），或者只跳過決策環節（比如無意識的呼吸）。

DARPA的人工智能三段論

DARPA 的框架定義了人工智能技術的發展。第一階段采用專家的知識，并將其納入到軟件中，以提供確定性的結果。第二階段涉及統計學習系統，支持模式識別和自動駕駛汽車。這一波產生的結果整體上很出色，但也可能在個別情況下不可靠。在DARPA的第三階段中，人工智能能夠提供解釋性模型，從而使我們能夠理解任何理解上的錯誤是如何發生的、為什么會發生，這種理解有助于增強我們對其理解能力的信任。

根據DARPA的理論，研究人員普遍認為現在的人工智能技術還無法很好實現第三階段的應用。當前的機器學習能力可以為我們提供通常正確的答案，但還不夠成熟，無法告訴我們它們如何得出錯誤答案、為什么得出。

古典教育

第三個框架是古典教育三學科，這描述了兒童發展的三個學習階段。在小學階段，孩子們專注于記憶事實、學習結構和規則。在中學階段，他們專注于聯系相關主題，并解釋如何以及為什么。最后在高等教育階段，學生能夠融合多學科的知識體系，形成邏輯推理，并開始說服他人。

當前這一代人工智能技術還缺乏足夠的問題及原因解釋能力，因此可以認為其還沒有跨過古典教育模型中的小學階段，其綜合能力成熟度可能只相當于不到10歲的兒童。

自主安全需要跳過了人工決策環節。但是如果我們讓當前這一代人工智能為我們做決策，必須認識到我們面對的是決策能力相當于未成熟兒童的智能化系統。

毫無疑問，我們繼續會向自動化自主安全邁進。但如果有一些護欄，我們可以盡量減少這一演進過程中出現的負面后果。以下是需要考慮的幾個方面：

?傳感器多樣性：基于多個數據來源，確保傳感器來源可信且可靠。

?邊界條件：確保決策具有高度確定性，且范圍狹窄。

?既定閾值：出現異常情況時，要評估最大可能承受的負面影響是什么；

?算法完整性：確保整個過程和所有假設都得到詳細記錄，并被操作人員理解；

?剎車和倒檔：如果超出范圍，準備好隨時摁終止開關，并立即使行動可逆。

?權力和責任：預先確定采取行動的權力和對結果負責的責任。

在采取安全措施的情況下讓孩子開車是不負責任的，同樣，在讓不成熟的自動化安全系統獲得主導權之前，應確保我們為其安全應用加裝了妥善的護欄。