OWASP發布《AI大模型應用網絡安全治理檢查清單》

日前，全球開源安全組織OWASP（Open Web Application Security Project）發布了《AI大模型應用網絡安全治理檢查清單（V1.0）》（以下簡稱為《檢查清單》）。在這份長達32頁的《檢查清單》中，較完整地介紹了AI大模型部署應用時的安全原則、部署策略和檢查對照表，適用于那些希望在快速發展的AI領域中保持領先地位的組織和機構，使他們能夠在制定大型語言模型戰略時，專注于制定一份全面的關鍵領域和任務清單。

《檢查清單》的主要編寫者Sandy Dunn表示：OWASP 已經在2023年6月發布了針對LLM應用程序的10大風險清單，但我們發現，許多企業組織對于使用AI需要考慮的事項以及從何處開始仍然存在很多困惑，而本次發布的《檢查清單》正是為了對上次發布的風險清單進行了完善和補充。通過遵循檢查清單的建議要求，組織不僅可以增加對大模型安全應用的信任，還可以提供一個簡單有效的持續改進戰略來鼓勵組織未來的應用創新。

Dunn認為，這份《檢查清單》能夠幫助所有類型的組織和機構在應用AI大模型時認知到以下四個要點：

1）針對生成式AI的應用，企業需要采用不同的安全保護思維方式；

2）AI技術帶來了不對稱的網絡對抗模型，攻擊者正在利用這些工具加速攻擊；

3）大模型工具的應用需要全面考慮的實施策略和方法；

4）大模型工具的部署應用，需要使用現有的法律、法規作為部署策略指南，例如歐盟的《通用數據保護條例》（GDPR）和各類隱私安全法規等。

部署大模型之前的準備

在本次發布的《檢查清單》中，明確提出了企業組織在部署AI大模型工具之前要采取的步驟列表，包括審查網絡彈性和安全培訓策略，以及與管理成討論如何將人工智能納入工作流程的實施計劃。

LLM部署策略的選擇方案

《檢查清單》還概述了組織根據其實際應用需求，可靈活選擇的5種大模型工具部署方式，具體如下圖所示。

AI大模型的常見部署類型

Dunn表示：“AI大模型工具的應用范圍包括了從利用公共消費者應用程序到在私有數據上訓練專有模型。充分了解用例敏感性、所需功能和可用資源等因素，有助于企業組織確定如何在便利性與可控制性之間實現正確平衡。”

大模型應用時的安全檢查清單

在《檢查清單》的第二部分中，詳細概述了實施LLM用例時需要考慮的具體事項，以避免給組織帶來不必要的安全性風險。這些事項涵蓋了面向業務的措施（包括建立業務案例和選擇合適的大模型解決方案）、風險管理措施（包括威脅建模、監控AI風險、實施以AI為重點的安全培訓、AI紅隊測試等），以及法律監管合規方面的措施（如建立合規要求、實施測試、評估、驗證和驗證過程等）。以下列出了一些重點的清單要求：

1、對抗性風險

對抗性風險包括競爭對手和攻擊者：

· 仔細研究競爭對手如何投資人工智能；

· 調查對當前安全控制措施的影響，如密碼重置等；

· 更新大模型增強攻擊和對特定事件的事件響應計劃及行動手冊。

2、威脅建模

《檢查清單》強烈建議使用威脅建模來識別威脅并檢查流程和安全防御。針對GenAI加速攻擊和部署LLM之前的威脅建模是識別和減輕風險、保護數據、保護隱私以及確保業務內安全、合規集成的最具成本效益方法。

· 業務能否通過在所有LLM信任邊界上的安全集成來保護與現有系統和數據庫的連接？

· 企業是否有內部威脅緩解措施，以防止授權用戶濫用？

· 企業能否防止未經授權訪問專有模型或數據以保護知識產權？

· 企業能否通過自動內容過濾來防止有害或不適當內容的生成？

3、AI資產盤點

AI資產清單應適用于內部開發大模型應用和相關的外部第三方解決方案。

· 對現有的人工智能服務、工具和所有者進行編目

· 在資產管理中為特定庫存指定標簽

· 將人工智能組件列入到軟件材料清單（SBOM）中

· 設定AI數據源和數據的敏感性（受保護、機密、公開）

· 確定是否需要對部署的人工智能解決方案進行測試

· 創建人工智能解決方案人員的入職流程。

4、AI安全和隱私培訓

在AI安全和隱私培訓方面主要包括：

· 積極與各類員工接觸，了解并解決大模型應用計劃中的問題；

· 就如何管理、管理和解決大模型使用風險，建立一種公開透明的溝通文化；

· 更新安全意識培訓，將AI大模型相關威脅包括在內；

· 任何采用的AI大模型解決方案都應包括部署管道的DevOps和網絡安全培訓。

5、建立并參考商業案例

成功的商業案例對于確定AI解決方案的商業價值、平衡風險和收益以及評估和測試投資回報至關重要。研究內容包括：

· 增強客戶體驗

· 更高的運營效率

· 更好的知識管理

· 加強創新設計

· 市場調查和競爭對手分析

· 文檔創建、翻譯、摘要和分析

6、公司治理

大模型應用時的公司治理需要為組織提供透明度和問責制。識別可能熟悉該技術或業務所選用例的人工智能平臺或流程所有者是非常必要的，這樣可以確保足夠的反應速度，防止對現有的數字化流程造成損害。

· 建立組織的大模型應用RACI圖表（誰負責，誰負責，咨詢誰，通知誰）；

· 記錄并分配組織內的人工智能風險、風險評估和治理責任；

· 制定有關數據分類和使用限制的數據管理政策，包括技術強制執行要求；

· 創建由既定政策支持的大模型應用政策（例如良好行為標準、數據保護、軟件使用）；

· 發布各種大模型工具的可接受使用白名單，供員工參考；

· 記錄組織從生成LLM模型中使用的任何數據的來源和管理。

7、法律合規

關于AI大模型應用的許多法律、法規目前仍然是不明確的，但是如果出現違規可能代價高昂。IT部門、安全部門和合規部門緊密合作，對于發現合規方面的問題和解決模糊決策至關重要。

· 確認產品的安全責任在產品開發流程中是明確的，以指定誰負責人工智能的產品問題修復；

· 審查和更新現有條款和條件以考慮AI大模型的任何因素；

· 審查AI 應用時的用戶許可協議；

· 組織修改最終用戶協議，以防止組織通過人工智能生成的內容承擔與抄襲、偏見傳播或侵犯知識產權有關的法律責任；

· 審查用于代碼開發的現有人工智能輔助工具，防范可能威脅到公司對其產品所有權的因素出現；

· 嚴格審查知識產權的任何風險。如果在大模型中使用了不當獲取的數據，聊天機器人生成的知識產權可能會受到威脅。大模型的應用過程應當受到版權、商標或專利保護；

· 審查任何有賠償條款的合同。建立安全責任護欄，以確定AI技術的提供商或其用戶是否可能導致違規事件，從而導致責任；

· 審查人工智能系統造成的潛在傷害和財產損失的責任；

· 審查保險范圍。傳統的（D&O）責任和商業一般責任保險政策可能不足以充分保護人工智能的使用；

· 識別任何版權問題。版權需要人類作者身份，如果大模型工具被濫用，組織也可能對抄襲、傳播偏見或侵犯知識產權負責；

· 應當確保人工智能解決方案在未經適當同意或授權的情況下不會收集或共享敏感信息。

8、實現大模型解決方案

組織在實現大模型方案時，應該檢查以下方面：

· 數據安全，驗證如何根據敏感度對數據進行分類和保護，包括個人和專有業務數據；

· 訪問控制，實施最低權限訪問控制，并實施縱深防御措施；

· 培訓管道安全，需要對培訓數據治理、管道、模型和算法進行嚴格控制；

· 輸入和輸出安全性，評估輸入驗證方法，以及如何過濾、凈化和批準輸出；

· 做好應用監控和事件響應，并確認審核記錄是安全的；

· 檢查AI大模型工具或供應鏈中的安全漏洞；

· 研究常見的威脅和攻擊對大模型解決方案的可能影響，如即時注入、敏感信息竊取和流程操縱；

· 調查攻擊和威脅對大模型的可能影響，包括模型中毒、數據處理不當、供應鏈攻擊和模型盜竊；

· 基礎設施的安全性，定期開展恢復能力測試，以及在可用性、可擴展性和性能方面的SLA是什么；

· 更新事件響應行動手冊，并在桌面演習中包括大模型安全事件；

· 確定或擴展指標，將生成性網絡安全人工智能與其他方法進行比較，以衡量預期生產力的提高

9、測試、評估、驗證和確認（TEVV）

TEVV包括一系列任務，如系統驗證、集成、測試、重新校準和持續監測定期更新，以應對人工智能系統的風險和變化：

· 組織在整個人工智能模型生命周期中建立持續的測試、評估、驗證和驗證；

· 定期提供人工智能模型功能、安全性、可靠性和穩健性的執行指標和更新。

10、模型卡和風險卡

模型卡通過提供有關人工智能系統設計、功能和約束的標準化文檔，幫助用戶理解和信任人工智能系統，使他們能夠制作出有教育意義和安全的應用程序；

風險卡通過公開解決潛在的負面后果（如偏見、隱私問題和安全漏洞）來補充這一點，從而鼓勵采取積極主動的方法來預防傷害；

建立模型卡和風險卡對開發者、用戶、監管機構和倫理學家同樣至關重要，因為它們建立了一種合作氛圍，在這種氛圍中，AI大模型應用的社會影響將會得到認真的解決和處理。

11、大型語言模型優化

微調是優化預訓練模型的傳統方法，它涉及對新的、特定于領域的數據重新訓練現有模型，并根據任務或應用程序的性能對其進行修改。微調對提高大模型安全應用的性能至關重要。

檢索增強生成（RAG）已經發展成為一種更有效的方式，通過從最新的可用知識源中檢索相關數據來優化和增強大型語言模型的能力。RAG可以針對特定領域進行定制，優化特定領域信息的檢索，并根據專業領域的細微差別調整生成過程。RAG被視為大模型應用優化的一種更有效、更透明的方法。

12、AI紅隊

AI Red Teaming是對AI系統的對抗性攻擊測試模擬，以驗證不存在任何可被攻擊者利用的現有漏洞。這是許多監管和人工智能管理機構建議的做法。單獨的紅隊測試并不能驗證與人工智能系統相關的所有現實危害，應該包括在其他形式的測試、評估、驗證和驗證中，如算法影響評估和外部審計。企業應該將紅隊測試納入人工智能模型和應用程序的標準實踐。

參考鏈接：

https://www.infosecurity-magazine.com/news/owasp-security-checklist/