歐盟人工智能立法提案的核心思想及未來影響分析

摘　要：

歐盟人工智能立法提案提出了對人工智能系統實行分級監管的思想和合規評估要 求，旨在于歐盟范圍內規范人工智能的可信應用，進一步鼓勵人工智能領域的投資和創新。立法提案重點對高風險人工智能系統的全生命周期監管作出了詳細規定，并提出了 3類情 形的違法處罰原則。歐盟在人工智能領域的率先立法，必然加速全球可信人工智能監管政 策落地步伐，大大提高全球人工智能企業進入歐盟市場的門檻，也即將拉開人工智能安全 評估評測業務市場的序幕。

內容目錄：

0　引　言

1　歐盟人工智能立法提案的出臺與進展

2　歐盟人工智能立法提案的五大核心思想

2.1　基于對功能和用途等要素的綜合風險分 析，提出人工智能系統4級分類治理體系

2.2　重點明確高風險人工智能系統的監管框架, 對其全生命周期監管作出具體規定

2.3　明確主管機構和評估機構的職責，為有序 推進監管提供組織保障

2.4　設立人工智能“監管沙箱”，兼顧中小企 業的特殊情況和技術創新需求

2.5　提出三類情形的違法處罰原則，企業違法最高罰款達到其全球年營業額的6%

3　歐盟人工智能立法提案可能帶來的 影響分析

3.1　在規則制定方面，必然加速全球可信人工 智能監管政策落地的步伐

3.2　在市場準入方面，大大提高全球人工智能 企業進入歐盟市場的門檻

3.3　在業態構建方面，即將拉開人工智能安全 保障和評估評測業務市場的序幕

3.4　在系統設計方面，倒逼人工智能從業者更 加負責任地思考人工智能技術的設計和應用

4　應對建議

4.1　對內：研究出臺人工智能安全治理規范指 南，適時形成具有約束力的政策要求

4.2　對外：加強國際交流與合作，盡可能地降 低企業進入海外市場的門檻

5　結　語

０引　言

2021年4月21 0 ,歐盟委員會在官網上發 布了其提交的立法提案——《歐洲議會和理事 會關于制定人工智能統一規則（人工智能法） 和修訂某些歐盟立法的條例》（以下簡稱“人 工智能立法提案”），提出了對人工智能系統 實行分類分級監管的思想和合規評估要求，旨在于歐盟范圍內規范和保障人工智能的可信應 用，進一步鼓勵人工智能領域的投資和創新。此舉也充分體現了歐盟欲在人工智能監管領域 扮演全球“領頭羊”角色、提升其競爭力的決心。歐盟人工智能立法提案是否會給全球帶來類似 《通用數據保護條例》（GDPR）的影響，這一 問題已引起業界高度關注。本文簡要介紹立法 提案出臺的背景，概括分析立法提案的5大核 心內容，并從4個方面預測可能帶來的影響。

１歐盟人工智能立法提案的出臺與進展

從全球范圍分析，歐盟在推進人工智能監管 方面力度較大，一直走在世界前列。早在2018年， 歐盟委員會就發布了《歐盟人工智能戰略》和《歐 盟人工智能協同計劃》，在這些戰略和計劃中提出了要加強對人工智能風險應對策略的研究。

立法提案的準備工作始于2018年歐盟人工 智能高級別專家組的建立，該高級別專家組由 來自不同領域的52位知名專家組成，為歐盟委 員會實施人工智能戰略提供咨詢。2019年4月， 歐盟人工智能高級別專家組在廣泛研究調研的 基礎上發布了《可信人工智能倫理指南》，該 指南列出了可信人工智能評估清單，并在一些 領域開展了實踐探索和意見反饋工作，事后發 布了自評估清單。《可信人工智能倫理指南》 從頂層設計的角度提出了構建可信人工智能框 架的3個要素（合法、符合倫理、穩健）、4項 原則（尊重人的自治、預防傷害、確保公平、 具有可解釋性）和7項關鍵要求（實現人類自 主和監管、確保技術穩健和安全、重視隱私和 數據治理、注重透明性、注重多樣性非歧視、 實現環境友好和社會福祉、建立問責制）。

2020年2月，歐盟委員會發布了《人工智 能白皮書——歐洲追求卓越和信任的策略》， 闡述了建立卓越和可信人工智能生態系統的清晰愿景，表明了人工智能政策走向將由“強監管“ 轉向“發展和監管并重”，并在白皮書中提出 了對人工智能應用實施分類分級監管的政策設想。隨后，歐盟委員會就白皮書提出的政策設 想開展了影響評估和意見反饋，分別于2020年 12月和2021年3月發表了評估意見，歐盟委員 會還對4種不同程度的監管政策方案進行認真 審查評估，最后形成了現有的人工智能立法提案版本。

下一步，歐盟委員會還將征集各界對該人 工智能立法提案的修改意見，立法提案經歐盟 理事會和歐洲議會批準通過后直接在歐盟各國 生效實施。立法提案財務陳述中列出了 2023年 相關監管機構的人力成本預算，由此推斷，該 人工智能立法提案正式生效預計還需2年時 間。該立法正式實施5年后，歐盟委員會將對 執行情況進行。

從深層次分析，歐盟之所以在全球率先開 展人工智能監管立法，這與其在人工智能領域 的戰略定位和注重技術倫理的傳統密不可分。歐盟在出臺的相關官方文件中分析指出，其很 早就把發展以智能化為基礎的經濟模式作為主 要戰略目標，但由于缺乏風險資本投入和民眾 過多顧慮隱私保護等問題，在人工智能應用發 展上落后于中國和美國。為改變這一現狀，歐 盟發力構建可信人工智能，搶占全球倫理規則 主導權，通過構建“卓越生態系統”和“信任生態系統”，致力于將歐洲建設成為全球人工 智能研究和創新的“燈塔中心” 。

２歐盟人工智能立法提案的五大核心思想

歐盟委員會目前發布的人工智能立法提案 正文共有85條，另有9個附件。該立法提案規 定，其適用對象包括兩大類：一是向歐盟提供 人工智能系統或服務的提供方，不管提供方是 否設立在歐盟境內；二是在歐盟境內人工智能 系統或服務的使用方。該立法不適用于以軍事 應用為唯一目的的人工智能系統，以及第三國 公共機構和國際組織與歐盟（或成員國）在執 法和司法合作框架下使用人工智能系統的情況。立法提案的條文內容大篇幅涉及高風險人工智 能系統監管問題，提案的核心思想可概括為以 下5個方面。

2.1　基于對功能和用途等要素的綜合風險分 析，提出人工智能系統4級分類治理體系

立法提案從人工智能系統執行的功能以及 系統的具體用途與模式等綜合分析角度，將人 工智能應用風險分為4個層級，即從高到低為 不可接受的風險、高風險、有限風險和低風險。這些綜合分析因素包括人工智能應用程序的使 用范圍及其預期目的、潛在受影響人員數量、 對結果依賴性和損害的不可逆轉性，以及現有 的歐盟立法在多大程度上提供了有效的預防措施等。

不可接受（或禁止）的人工智能系統。立 法提案規定禁止以下4種情形的人工智能實踐：一是利用個人無法認知的方式部署潛意識技術 以扭曲個人行為，導致或可能導致對該人或他 人的身體或心理造成傷害;二是利用諸如兒童、 殘疾人等弱勢群體的脆弱性，實質性扭曲與該 人群有關的行為，導致或可能導致對其身體或 心理造成傷害；三是公共部門（或其代表機構） 運用人工智能手段，基于自然人一段時間內的 社會行為或個性化特征數據，對自然人的可信 度進行不當評分或歸類，導致自然人受到不利 或不公平對待的；四是出于執法目的在公共空 間使用“實時”遠程生物識別系統，但是一些 特殊情況可除外，如尋找特定犯罪受害者或失蹤兒童、偵查定位犯罪嫌疑人、處理緊急人身 安全或恐怖襲擊等情況下可以破例使用。

高風險人工智能系統。立法提案以附錄的 形式（附件二、附件三）專門列出了給自然人 健康、安全和基本人權等方面帶來高風險的人 工智能應用附表，主要包括以下兩類應用情形：一是該人工智能系統作為特定的產品或系統的 安全組件，如機械產品中涉及的安全組件；二 是該人工智能系統作為獨立的產品或系統，如 涉及生物識別、關鍵基礎設施、教育培訓、員 工管理招聘、執法、移民和司法等領域應用的 人工智能系統。立法提案指出，立法框架具有 靈活性，應適應發展變化的需要，及時調整高 風險人工智能列表。

有限風險人工智能系統。對于有限風險人 工智能應用，立法提案要求其履行信息透明等 義務，如使用聊天機器人，在使用時應讓消費 者知悉其是在與機器進行交互。

低風險人工智能系統。對于低風險人工智 能應用，原則上可自由投入使用，如人工智能 驅動的游戲或病毒過濾等，大多數人工智能應 用屬于這一級別。

2.2　重點明確高風險人工智能系統的監管框架, 對其全生命周期監管作出具體規定

立法提案除對所有人工智能系統提出了關 于透明度的普適性要求外，還重點對高風險人 工智能系統監管進行了較為詳細的規定，涉及 風險管理、質量控制、數據管理、文檔編制、 日志記錄、人工監督、可靠性要求，以及投入 市場前的合規評估、登記報告、利益相關方義 務等諸多方面。

風險管理。要求建立貫穿高風險人工智能 系統全生命周期的風險管理系統，識別、分析和評估人工智能系統風險并采取相應的風險管 理措施，通過設計開發、使用者培訓等方法降 低風險。

質量控制。要求高風險人工智能系統的供 應商建立質量管理體系，做好系統設計、開發等過程的質量管理和記錄。

數據管理。要求在開發系統時所使用的訓 練、驗證和測試數據集應符合相關的質量標準，如應事先評估數據的可用性、數量和適用性， 檢查數據可能存在的偏見等。

文檔編制。要求編制高風險人工智能系統 的技術文檔，文檔內容涉及系統總體描述、系 統具體要素和研發過程等，技術文檔應隨系統 的使用進行持續更新，保持最新狀態。

日志記錄。要求系統運行時自動記錄日志，日志應具備系統全生命周期的可追溯性以便于 監測運行，記錄內容包括系統使用時間、系統 決策參考的數據庫、產出結果的輸入數據、特殊系統產出結果的鑒定人等。

人工監督。要求高風險人工智能系統的設 計、開發和使用需配備適當的人機界面工具， 以便在使用期間可由自然人進行有效監督、干預系統運行等，發揮人工監督的兜底作用。

可靠性要求。要求高風險人工智能系統的 設計和開發應根據其預期目的達到適當的準確 性、魯棒性和安全性，可應對運行中發生的錯誤, 避免非法篡改等。

事前合規評估。要求高風險人工智能系統 在投入市場使用前要進行事前符合性評估，證明其符合強制性規定要求，評估內容主要包括 風險管理、數據管理、技術文檔、記錄保持、 對用戶透明和信息提供、人工監督，以及準確性、 魯棒性和安全性等方面是否符合立法規定的要 求。高風險人工智能系統一旦做出實質性修改， 就必須接受新的合規評估程序。

登記報告。要求在歐盟層面建立一個高風 險人工智能系統的數據庫，提供商將高風險系 統投放市場之前應提前進行有關信息和合規評 估情況的登記。一旦出現嚴重事故，高風險人 工智能系統提供商有義務及時向國家主管機構 報告情況，并從市場上召回相應產品，國家主 管機構應對事故開展調查。

利益相關方義務。提供商應遵守上述提到 的風險管理、質量控制、數據管理、可靠性要 求、投放市場前的合規評估、登記報告等義務， 境外提供商應在歐盟境內設立代表，以配合國 家主管機構開展的相關監管。制造商若以自己 名義將搭載的高風險人工智能系統投放市場的, 必須遵守立法提案規定的提供商義務。進口商 應確保高風險人工智能系統符合立法提案規定 的要求，并注明商標和聯系信息。使用者應按 照系統預期目的和所附的說明使用系統，監測 系統的運行情況并保存好系統日志，報告異常 情況。

2.3　明確主管機構和評估機構的職責，為有序 推進監管提供組織保障

立法提案從歐盟和成員國層面提出了監管 治理架構。在歐盟層面，提出成立由國家監管 機構、歐洲數據保護監管機構組成的歐盟人工 智能委員會，以有效協調推進人工智能監管新 規的順利實施，促進成員國分享最佳實踐。在 成員國層面，要求各成員國指定一個或多個相 應機構來監督規則的實施。

指定機構負責建立必要流程，用以選擇、 管理和監督符合性評估機構并處理相關事宜。指定機構應與符合性評估機構設置分離且無利 益沖突，不得開展營利性活動，履行保密義務等。

評估機構負責開展第三方符合性評估活動， 包括測試、認證等。申請成為評估機構應具備 一定條件，要向公告機構提交申請并獲得批準。若第三國與歐盟簽訂協議，則根據該國法律設 立的評估機構可被授權開展符合性評估活動。評估機構將為符合要求的人工智能系統頒發證 書，證書有效期為5年。

2.4　設立人工智能“監管沙箱”，兼顧中小企 業的特殊情況和技術創新需求

歐盟在起草立法提案時，意識到不應過度 監管，必須防止繁文縛節現象的發生，以免阻 礙歐洲人工智能的創新發展。為促進中小企業 和初創企業按照新的人工智能規則繼續創新， 立法提案提出建立人工智能“監管沙箱”的設想。

人工智能監管沙箱是由一個或多個成員國 主管當局或歐洲數據保護監管機構提供的一個 控制環境。一些企業可以按照一定的規則，將 其投入市場前的創新性人工智能系統在這一環 境中進行測試和驗證。另外，立法提案還提出， 要通過采取人工智能卓越中心網絡和公私合作 伙伴等措施，幫助企業開發和部署人工智能。

2.5　提出三類情形的違法處罰原則，企業違法最高罰款達到其全球年營業額的6%

立法提案對違反立法規定的一些情形提出了原則性的處罰規定，要求歐盟成員國根據立 法精神制定處罰規則和采取相應措施，并將處 罰規則通知歐盟委員會。在制定處罰規則時， 要考慮小規模提供商和初創企業的利益和經濟 生存能力。

立法提案針對以下三類情形提出不同的行 政處罰力度：一是對違反第5條禁止性實踐規 定或第10條數據治理規定的，應處以3000萬 歐元罰款，如果違反者為企業的，可沒收該企 業全球年營業額的6% （低于3000萬歐元的， 處以3000萬歐元罰款）。二是對違反除第5條 和第10條以外的人工智能系統要求的，應處以 2000萬歐元罰款，如果違反者為企業的，可沒 收該企業全球年營業額的4% （低于2000萬歐 元的，處以2000萬歐元罰款）。三是對于違反 向有關機構報告義務規定的，應處以1000萬歐 元罰款，如果違反者為企業的，可沒收該企業 全球年營業額的2% （低于1000萬歐元的，處 以1000萬歐元罰款）。

３ 歐盟人工智能立法提案可能帶來的影響分析

人工智能將深刻改變未來的經濟、社會和 生活，已經成為一個地緣政治、商業利益和安全 問題交匯的重要戰略領域。鑒于人工智能技術 的特殊性，歐盟在全球人工智能監管領域率先 立法的舉動不可小覷，預計將在規則制定、市 場準入、業態構建和系統設計等方面帶來影響。

3.1　在規則制定方面，必然加速全球可信人工 智能監管政策落地的步伐

人工智能是把雙刃劍，如果人工智能應用 得不到合理管控，就會出現嚴重的倫理安全等 風險，造成不良后果，這一問題已經引起全球 高度關注。近年來，一些國家和國際組織接連 出臺了有關人工智能倫理和治理的指南，總體 來看，目前全球與控制人工智能危害相關的行 動停留在原則層面較多，還缺乏操作層面的具 體規范。歐盟在其《可信人工智能倫理指南》 和《人工智能白皮書》基礎上，出臺了人工智 能立法提案，積極推進人工智能分類分級監管 政策的落地實施。雖然歐盟目前發布的人工智 能立法提案還需要進一步修訂和經過一定的批 準程序，但歐盟人工智能立法提案的出臺與進 展，必然會引起國際上的高度關注，很大程度 上會促進其他國家人工智能監管政策的落地步 伐。2018年歐盟出臺的《通用數據保護條例》 在全球產生的影響就是一個先例。

3.2　在市場準入方面，大大提高全球人工智能 企業進入歐盟市場的門檻

歐盟人工智能立法提案提出了基于風險分 析的4級人工智能監管治理體系，要求對高風 險人工智能系統開展市場投放前的強制性合規 評估，鼓勵制定行業準則等方式規范非高風險 人工智能系統的應用，這些要求帶有強制約束 力，無疑會提高歐洲企業開展人工智能系統研 發和部署的成本。另外，立法提案明確指出， 該立法適用范圍還包括為歐盟提供人工智能系 統或服務的全球各類經濟主體，人工智能系統 的進口商必須確保外國供應商已經執行了適當 的合規評估，并帶有歐洲合格標志（CE）和法 規要求的技術文件。這些規定對擬進入歐盟人 工智能應用市場的全球企業來說，必然會提高 其市場準入門檻。

3.3　在業態構建方面，即將拉開人工智能安全 保障和評估評測業務市場的序幕

鑒于算法不透明和數據等問題，如何將安 全倫理規則具體落實到人工智能系統和產品的 設計、部署和應用過程，做到有效把控是當前 全球亟待破解的難題。隨著人工智能與各行各 業融合應用的不斷深入，其潛在的安全風險不 斷增大，數據集質量、算法安全、對抗樣本攻 擊等成為新的挑戰，客觀上需要對人工智能安 全保障問題作出明確要求。歐盟人工智能立法 提案對高風險人工智能應用作出了全生命周期 管理的一些強制性規定，特別是市場準入前的 強制性合規評估，這為建立人工智能安全保障 生態奠定了法律依據，在保障人工智能產業健 康發展的同時，也從政策上營造了人工智能安 全保障領域的市場需求，為開展第三方合規評 估市場創造了有利條件。隨著全球監管政策的 進一步落地，預計2023年前后全球人工智能安 全保障市場將迎來大力發展的有利時機，人工 智能安全保障技術和合規性測評技術的研發和 應用將成為人工智能領域的一個新賽道。

3.4　在系統設計方面，倒逼人工智能從業者更 加負責任地思考人工智能技術的設計和應用

歐盟立法提案綜合人工智能系統的性能和 應用場景等諸多因素，將人工智能系統分為禁 止、高風險、有限風險和低風險4個級別，明 確了哪些情形的人工智能應用是被禁止的，哪 些領域是屬于高風險人工智能應用，如果從事 禁止領域的人工智能開發設計和提供服務，就 屬于違法行為，會受到嚴厲處罰。雖然立法提 案提出的禁止領域還有可能發生變化，附錄的 高風險領域列表清單也會隨著發展而不斷調整, 但是，歐盟通過立法的方式把人工智能倫理原 則付諸落地，具有強制約束力，從而引導和倒 逼人工智能從業者在設計和應用時認真遵守技 術向善的指導原則。另外，立法提案規定市場 準入前的強制性評估內容涉及人工智能系統全 生命周期中的數據管理、風險管理、質量控制、 技術文檔和安全魯棒等要求，這也促使從業者 認真遵守人工智能系統事前、事中和事后的各 項管理規定。

４ 應對建議

歐盟人工智能立法提案一旦通過，就直接 在歐盟成員國付諸實施，如何應對也成為我國 業內關注的重點話題。為此，提出以下兩點建議。

4.1　對內：研究出臺人工智能安全治理規范指 南，適時形成具有約束力的政策要求

我國具有廣闊的智能化應用場景，隨著融 合應用的不斷深入，人工智能安全治理的重要 性也日益得到重視。我國國家新一代人工智能 治理專業委員會發布《新一代人工智能治理原 則——發展負責任的人工智能》，近年來，相 關行業在一些熱點應用領域開展了人工智能安 全治理實踐，如在智能網聯汽車領域出臺了若 干管理規定，一些業內企業和科研機構也聯合 出臺了行業自律性宣言，領域性的細分標準正 在陸續起草出臺，建議下一步在這些積極探索 實踐的基礎上，加快具有頂層指導意義的人工 智能分類分級安全治理規范體系的研究，可先 以指南或標準的方式形成通用規范，待條件成 熟時，形成具有約束力的政策要求，以更好地 指導和規范各行業領域的人工智能融合應用， 促進人工智能健康有序發展。

4.2　對外：加強國際交流與合作，盡可能地降 低企業進入海外市場的門檻

歐盟擬采用統一符合性評定方式加強對人 工智能產品或服務的監管，以成員國國家主管 部門合作框架的形式建立歐洲的人工智能治理 結構。想要進入某個成員國內部市場的第三國 經濟主體可以利用歐盟指定機構進行評估，或 者在與第三國達成互認協議的前提下，委托第 三國指定機構進行相應的評估。為此，一方面 要鼓勵專業力量加強對歐盟人工智能監管政策 的跟蹤分析，指導企業吃透歐盟政策要求，做 好應對準備；另一方面，要加強人工智能發展 與監管領域的國際交流與合作，為我國企業提 供更便利、更就近的合規評估服務，盡可能降 低企業進入海外市場的門檻。

５ 結　語

人工智能作為科技創新的下一個“超級風 口”，將對全球經濟社會發展帶來深刻影響。鑒于當前人工智能技術算法不透明等特點，在 大力推進人工智能與各行業融合應用的同時， 應加快出臺體系化、可落地的安全風險應對措 施，做到未雨綢繆。歐盟人工智能立法，不僅 提出了4級分類監管治理體系，還對高風險人 工智能應用提出了全生命周期監管的要求，在 推動全球人工智能倫理規則和安全指南加速落 地的同時，也為建立人工智能安全保障生態奠 定了法律基礎。