美國NIST發布《人工智能風險管理框架》

2023年1月26日，美國國家標準與技術研究院（NIST）正式公布《人工智能風險管理框架》（AI RMF 1.0），旨在指導機構組織在開發和部署人工智能系統時降低安全風險，避免產生偏見和其他負面后果，提高人工智能可信度，保護公民的公平自由權利。NIST作為美國商務部的非監管機構，該文件從性質上來講是一份非強制性的指導性文件，供設計、開發、部署、使用人工智能系統的機構組織自愿使用。

背景信息

人工智能技術具有改變社會和人們生活的巨大潛力，涉及商業、健康、交通、網絡安全和環境保護等方方面面。人工智能在驅動經濟增長、促進科學進步、改變生活條件的同時，也帶來了多種形式的風險。AI RMF延續了經合組織OECD對人工智能的定義，將人工智能系統定義為針對特定目標生成預測、建議、決定的工程化或基于機器的系統，可以在不同程度上自治運行。

盡管有無數的技術標準和最佳實踐可以幫助組織減輕傳統軟件和信息系統的安全風險，但是與之相比，人工智能系統帶來的安全風險具有獨特性。舉例而言，當人工智能系統根據隨時間變化的數據集進行訓練時，這些數據時而發生的顯著或意外變化，會以難以理解和解釋的方式影響人工智能系統的功能和可信度。由于人工智能系統構造及其部署環境通常非常復雜，因此很難在其故障發生時及時進行檢測和響應。此外，人工智能系統從本質上來講是社會性技術，受到社會動態和人類行為的顯著影響，其風險和收益可能受到來自技術方法、使用方式、系統交互、操作人員、社會環境等諸多社會因素的影響。

因此，人工智能的部署和利用具有挑戰性，如果缺乏適當的控制，人工智能系統很可能會擴大、延續或者加劇個人和群體的不公平待遇。人工智能風險管理是負責任地開發和使用人工智能系統的關鍵組成部分，通過機構組織對潛在正負面影響的批判性思考，進而提升人工智能系統可信度，培養公共信任。此外，負責任的人工智能實踐有助于人工智能系統設計、開發、使用的決策與預期目標和價值內核保持一致，即注重以人為本、社會責任和可持續性。

系統建構

文件的主要內容分為兩部分，第一部分探討人工智能相關風險的梳理建構方法，并概述可信賴人工智能系統的特征。AI RMF將“風險”定義為事件發生概率和相應事件后果的綜合度量，并對后果采取了廣泛解釋，即包括消極的、積極的或兼而有之的影響，意在與開發利用人工智能技術以實現積極成果的目標相呼應。“可信賴的人工智能系統”應當滿足信度效度兼備、安全性和彈性、負責任且透明、可理解性和可解釋性、隱私增強、有害偏見公平管理等基本要求。

文件認為，人工智能的系統風險來自多方面因素影響，在人工智能全生命周期的不同階段也會存在不同的風險。在早期階段衡量風險與在晚期階段衡量風險可能會產生截然不同的結果；一些風險在特定的時間點處于潛伏狀態，可能隨著人工智能系統的配置和使用而逐步顯現并顯著增加；人工智能系統全生命周期中的風險還可能受到不同階段參與人員的影響，不能孤立地考慮人工智能風險，而是應當與網絡安全、隱私保護等其他關鍵風險整合起來、通盤考慮。

人工智能系統構建主要有四方面考量。一是風險框架，包括對風險、影響、危害的理解與處理，以及人工智能風險管理的挑戰、風險承受度、風險等級排序。二是目標受眾，理想情況下，AI RMF應當適用于人工智能的全生命周期和多維度活動。人工智能系統的全生命周期包括計劃和設計、收集處理數據、建立運用模型、驗證和確認、部署和使用、操作和監控六個階段。人工智能系統的多維度以人和自然為核心，進而延伸到數據和輸入、人工智能模型、任務和輸出、應用環境四個方面，重點是對其進行測試（test）、評估（evaluation）、驗證（verification）和確認（validation）的TEVV流程。三是風險和可信度，文章認為可信賴的人工智能系統應當滿足諸多條件，上述價值考量在不同情境下需要適當的取舍與平衡，但信度效度兼備始終是首要條件和必備基礎。四是有效性評估，包括衡量人工智能系統可信度基礎改進的方法，涉及對政策、流程、實踐、實施計劃、指標、量度和預期結果的定期評估，以期提高對人工智能系統可信度特征、社會技術方法、潛在風險后果三者之間關系與平衡的認識，改進與系統風險相關的內部問責工作，優先識別和管理系統風險對個人、社區、組織和社會的潛在影響，促進有關風險、決策過程、責任、常見隱患、TEVV實踐、持續改進方法的信息共享。

框架核心

第二部分介紹了AI RMF核心的四大功能，即治理（govern）、映射（map）、測量（measure）和管理（manage），每個功能項下還分為不同的類別和子類別，通過多元化展開幫助機構組織在實踐中應對人工智能系統帶來的風險和潛在影響。

一是治理功能。治理是貫穿人工智能系統風險管理全過程、與其他三項功能有交叉的基礎性功能，對治理的持續關注是對人工智能系統全生命周期實行有效風險管理的內在要求。具體而言，治理功能包括六個類別：一是與其他三項功能相關的政策、流程、程序和實踐均應完善透明且有效實施；二是完善問責機制，便于相關人員獲得授權和培訓，有效負責其他三項功能開展；三是優先考慮雇員的多樣性、平等性、包容性和可訪問性；四是建設風險警鐘長鳴的管理團隊，完善風險信息交流共享；五是保持與人工智能系統受眾的密切聯系，跟蹤并及時反饋對社會和用戶的潛在影響；六是完善解決機制，及時處理由第三方軟件、數據、供應鏈引發的風險和潛在影響。

二是映射功能。映射功能構建了人工智能系統風險管理的背景因素，由于人工智能系統的全生命周期涉及眾多環節和參與人員，單一環節的負責人很難對最終結果和潛在影響進行通盤考慮，單一維度內的最佳實踐很可能因為后續環節的決策實踐而被削弱，這種復雜性和不可預見性為人工智能系統的風險管理實踐帶來了不確定性。映射功能具體包括五個類別：一是明確系統運行的相關背景因素和預期環境；二是進行系統分類；三是了解系統功能、目標用途、成本收益等信息；四是將風險和收益映射到系統的所有組件和環節，包括第三方軟件和數據；五是評估對個人、群體、組織、社會的潛在有益和有害影響。

三是測量功能。測量是指采用定量、定性或混合工具，對人工智能系統的風險和潛在影響進行分析、評估、測試和控制。人工智能系統在部署前和運行中均應當定期測試，對系統功能和可信度的各個方面如實記錄。測量功能包括四個類別：一是確定并采用適當的方法和指標，定期記錄、評估和更新；二是評估系統的可信性特征，涉及代表性、有效性、安全性、穩健性和可持續性等；三是完善特定風險識別跟蹤機制，有效處理現有的、未預料的和緊急的各種系統風險；四是定期評估和反饋測量功能的有效性，如實記錄相關信息和結果。

四是管理功能。管理涉及到對系統風險因素的定期映射和測量，包括對事故和事件的響應、補救和溝通，以減少系統故障和負面影響的可能性，并根據評估結果優先排序、有效配置、定期改進風險管理資源。管理功能包括四個類別：一是基于映射和測量功能的評估和分析結果，對系統風險進行判定、排序和響應；二是制定實施最大化收益和最小化負面影響策略，明確風險響應步驟；三是有效管理來自第三方的風險和收益，定期監控記錄；四是完善風險響應和恢復機制，對已識別、可測量的系統風險加強溝通交流和記錄監控。

總體而言，人工智能的法律規制是當前世界主要國家的關注重點，也是實踐中亟待解決的關鍵問題。NIST公布的《人工智能風險管理框架》為算法合規和人工智能風險管理提供了有益參考，可信賴的人工智能系統構建任重而道遠。