云深不知處，AI企業合規應何去何從

小貝案語

商湯科技在8月底正式向港交所遞交招股書，至此有著“AI四小龍”之稱的商湯科技、曠視科技、依圖科技、云從科技四家公司均已經歷上市程序。AI企業紛紛啟動上市程序成為AI產業快速發展的一個縮影，而各國政府在出臺相關政策大力支持本國AI產業發展的同時，也在加緊出臺新的監管要求，AI監管即將進入深水區。面對這一形勢，AI企業該何去何從？本期小貝說安全邀請到中倫律師事務所胡俊律師團隊從境內外最新監管趨勢和AI四小龍的相關合規實踐出發，為處在十字路口的AI企業提供一些有益的建議和參考。

一、發展AI成為各國/地區的重要戰略

AI產業依托于新時代數字經濟和算法科技的發展，是以此為基礎對人類智能的模擬乃至超越。目前，AI技術也已經成為新一輪科技革命和產業變革的核心驅動力，正在對全球經濟發展、社會進步和人民生活產生極其深刻的影響。中國、歐盟和美國均高度重視AI產業的發展，將促進AI發展作為一項重要國家/地區戰略。

中國國務院2017年7月發布了《新一代人工智能發展規劃》，明確提出了“三步走”的戰略目標。其中，第三階段目標是，到2030年人工智能理論、技術與應用總體達到世界領先水平，成為世界主要人工智能創新中心，為我國躋身創新型國家前列和經濟強國奠定重要基礎。

歐盟委員會于2020年2月發布了White Paper on Artificial Intelligence - a European Approach toExcellence and Trust（人工智能白皮書——通往卓越和信任的歐洲路徑），提出了一系列有關AI研發和監管的政策措施，認為AI可以加強歐洲工業競爭力、提升公民幸福感，明確了歐盟的AI戰略旨在提高在歐盟在AI領域的創新能力，同時促進可信賴的AI技術在歐盟領域內的應用。

美國時任總統特朗普于2019年2月簽署了關于Maintaining American Leadership in Artificial Intelligence（維持美國在人工智能領域的領先地位）的行政命令，要求相關部門將AI研發作為部門優先事項并為此編制適當的財政預算，推動產業與學術界的AI技術突破，以強化并維持美國在AI領域的領先地位。2020年5月，Generating Artificial Intelligence Networking Security Act（創建人工智能網絡安全法案）被提交眾議院，該法案要求調研美國聯邦AI相關活動以及其他國家采用的AI戰略，確定美國在AI使用方面的國際排名。

二、數據安全、個人信息保護和AI倫理成為AI企業合規管理的核心

在國家戰略的支持下，以AI科技為核心技術和主營業務的企業不斷涌現，研發出的新產品和新技術給人類社會帶來了諸多便利。但與此同時，AI產業的快速發展也給相關監管和企業合規帶來了新的挑戰，主要體現在以下三個方面：

數據安全領域：AI技術的產生依托于數字經濟和算法技術的發展，不可避免地會涉及到大量數據的收集、處理和使用，由此可能導致或放大一系列數據安全風險，包括數據的過度采集、數據的集中存儲和處理、數據智能竊取、數據資源濫用等。

個人信息保護領域：AI可以借助便捷的信息采集技術，對人們的日常行為進行持續跟蹤和分析，將人們的行為方式、性格傾向、興趣愛好等進行信息化和數據化處理，增加侵犯個人信息權利和個人隱私的風險。

社會倫理領域：隨著AI產業高速發展，也伴生出諸多社會矛盾和倫理風險，例如智能化設備不斷取代人力勞動導致的潛在就業矛盾、人工智能在“緊急避險”等情況下價值判斷以及相關責任承擔問題。如何建立和發展可靠和負責任的人工智能成為了各國政府和企業共同面臨的重要課題。

從“AI四小龍”的IPO資料及相關公開信息中，我們看到相關監管機構對于上述風險的監管程度正在不斷提升，AI企業對上述合規問題也愈發關注。

具體而言：

商湯科技在向港交所遞交的招股書中披露，其秉持數據安全、數據隱私和AI倫理方面的可持續發展高標準，并采取了一系列措施來應對上述領域的風險和問題，包括對數據采取保密分類、訪問控制、數據加密及脫敏等各項保護措施，以防止未經授權訪問、泄露、不當使用或修改等。商湯科技設立有人工智能倫理委員會，并定期為員工組織人工智能倫理培訓。

曠視科技在向上交所遞交的招股書中披露，其在研項目包括“人工智能安全與倫理研究中心”，該項目旨在研發數據安全和隱私保護基礎平臺，通過建立一套AI數據安全與隱私保護機制，有效解決數據安全和個人隱私問題。此外，曠視科技在《關于曠視科技有限公司首次公開發行存托憑證并在科創板上市申請文件的審核問詢函之回復》中，按照上交所的要求，詳細說明了其技術、業務及產品（或服務）中涉及到的數據采集、清洗、管理、運用的具體環節，相關數據來源和合規性，以及保證數據采集、清洗、管理、運用等各方面合規的措施等。

云從科技在向上交所遞交的招股書中披露，云從科技高度認同人工智能倫理規范對于人工智能技術發展的重要性，堅持“和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔責任、開放協作、敏捷治理”的價值導向。云從科技建立了倫理審查機制，積極加強員工在人工智能倫理方面的培訓和管理，并在開放協作、綠色環保等方面積極落實人工智能倫理準則的要求。云從科技在客戶隱私數據方面，也從制度層面、技術層面和執行管理層面進行保障，強化對客戶隱私數據的保護。

依圖科技官方網站信息顯示，依圖科技已于2020年7月獲得由英國標準協會（BSI）頒發的ISO/IEC 27701:2019隱私信息管理體系國際認證。

三、AI企業面臨逐步完善的數據安全和個人信息保護監管要求

近年來科技行業的持續快速發展，使得數據安全和個人信息保護方面的風險得以充分暴露。面對已成為全球趨勢的大數據處理和使用、信息跨境流動以及不時發生的個人信息泄露等事件，各國立法和執法部門對于數據安全和個人信息保護方面的立法和執法工作正在快速推進，科技企業（包括AI企業）在全球范圍內正在面臨數據安全和個人信息保護方面愈加高標準、嚴要求的監管環境。

我國繼2016年頒布《網絡安全法》后，于今年先后出臺了《數據安全法》以及《個人信息保護法》，初步完成了數據安全和個人信息保護領域的基本立法工作。這三部法律及相關配套規范性文件形成了對數據安全和個人信息保護既有區別又相互緊密聯系的監管規則體系：

《網絡安全法》規定了國家積極開展網絡空間治理，防范網絡違法犯罪活動，維護網絡數據的完整性、保密性和可用性，基于《網絡安全法》的《網絡信息內容生態治理規定》等監管規則進一步要求，網絡信息內容服務使用者和生產者、平臺不得利用深度學習、虛擬現實等新技術新應用（如深度偽造技術）從事違法活，涉及深度偽造技術的互聯網新技術新應用應按要求履行安全評估程序。

《數據安全法》要求開展數據處理活動以及研究開發數據新技術應當有利于促進經濟社會發展，增進人民福祉，符合社會公德和倫理。此外，《網絡安全審查辦法（修訂草案征求意見稿）》擬要求掌握超過100萬用戶個人信息的運營者赴國外上市，必須向網絡安全審查辦公室申報網絡安全審查。

《個人信息保護法》在《網絡安全法》和《數據安全法》的基礎上，規定了處理個人信息應當遵循合法、正當、必要和誠信原則，細化了敏感個人信息處理和個人信息跨境提供的規則，并進一步規定國家網信部門統籌協調有關部門針對人工智能等新技術、新應用，制定專門個人信息保護規則、標準。

歐盟在AI相關數據安全和個人信息保護領域也走在了世界的前列。為大家所熟知的歐盟“GDPR”（General Data Protection Regulation，即通用數據保護條例）于2018年5月起正式實施，其在個人信息處理原則、個人信息主體的主要權利以及個人信息跨境傳輸等多方面均建立了相應的監管規則，其第22條即包含了對自動化決策（含用戶畫像）的相關要求。該條款明確規定個人原則上應有權拒絕僅基于自動化處理的對其產生法律效力或者其他類似重大影響的自動化決策，但是經法律授權、經個人明確同意或者為履行與個人之合約所必須的情況除外。但即使符合上述豁免條件，數據控制者（data controller）也應采取適當的措施保護個人合法權益，至少應保障個人獲得數據控制者人工干預、表達個人觀點以及對自動化決策結果進行同意的權利。同時，GDPR第15條要求使用自動化決策的數據控制者，應進一步向個人披露自動化決策的存在、其涉及的邏輯以及個人信息處理所帶來的相關影響和后果。

四、AI發展方興未艾，社會倫理等新維度監管初露鋒芒

如前文所述，各國目前就數據安全、個人信息保護已形成相對完整的監管體系，而對于近年來才走入公眾視野的AI倫理等新問題，中國、歐盟和美國也開始嘗試在新的維度上逐步出臺相關配套法律法規和政策措施，以保障AI產業的平穩健康發展，相關具體情況如下：

五、未來已來：從當前全球立法看我國AI領域監管趨勢

注重AI技術發展速度與風險的平衡，敏捷治理或將成為監管的新常態。目前各國對AI監管總體的政策導向雖已就位，但仍缺少具體的落地方案和實施細則，立法和制度建設尚不完善，監管發展滯后于技術的發展和應用。在各國政府支持和鼓勵AI發展、搶占AI發展先機的大背景下，未來一段時間的立法和監管政策可能會更加注重平衡AI產業的發展速度和AI技術所帶來的風險，我們可能會看到一些監管政策由粗到細、由緩到急逐步落地。

考慮到AI技術的快速發展導致了立法者和執法者很難采用“靜觀其變”的策略，必須積極作為以應對AI技術和產業發展帶來的各類風險和漏洞，相關監管部門可能會基于相應技術的發展速度和屆時的風險程度，通過“小步快跑”的方式制定并不時修訂相應監管細則，使敏捷治理成為AI時代的監管新常態。

1、AI發展帶來的倫理風險將成為重點規范領域之一。如本文上篇所述，AI相關技術可能會導致新的社會矛盾和倫理風險，世界各國也均已將AI倫理作為了重點關注領域之一。我國也在國家層面成立了國家科技倫理委員會，并且近期剛剛公布的《關于加強互聯網信息服務算法綜合治理的指導意見》中進一步表明國家將建立算法備案制度，有序開展備案工作；該指導意見同時要求企業應建立算法安全責任制度和科技倫理審查制度，對算法應用產生的結果負主體責任。

由此可見，我國對于AI社會倫理的監管已經逐步形成了從國家制度層面到企業執行層面的指導原則，結合我國到2023年初步建立人工智能標準體系的目標，相關監管細則要求可能會在未來2-3年內逐步完善和落地。

2、開放與合作將成為行業基調，行業反壟斷或將貫穿監管始終。在AI時代，大數據的經濟價值被深度挖掘，海量數據的聚集和整合一方面確可促進AI產業的不斷進步，但另一方面也會為行業壟斷提供溫床，助長頭部企業對數據和信息紅利的把控，導致其濫用數據市場支配地位的風險。隨著我國近期在平臺經濟反壟斷方面持續加大執法力度以及開放協作的人工智能治理原則的施行，相關監管部門很可能會重點關注AI行業的發展及壟斷風險，以期打破數據壁壘、提升數據流通和利用效率，進一步促進經濟和科技的發展和進步。

3、AI產品或將面臨分級監管。從目前各國的立法現狀來看，歐盟已發布《關于制定人工智能統一規則的提案》，對不同風險等級的AI系統和產品采取不同程度的監管措施，建立了以風險等級為基礎的監管體系。我國也分別通過《網絡安全法》、《數據安全法》和《個人信息保護法》建立起了網絡安全、數據安全和個人信息保護領域的分級監管規則。與之類似，《關于加強互聯網信息服務算法綜合治理的指導意見》也將推進算法分級分類安全管理作為了互聯網信息服務算法安全治理基本原則之一。

據此理解，我國未來對于AI領域的監管，也可能會基于AI技術的重要程度以及其一旦遭受破壞或惡意利用可能給國家、社會、企業和個人權益造成的損害程度，在監管層面將AI技術和系統進行分級，以對應不同的監管規則和措施，由此建立對于AI的分級分類監管體系。

六、何去何從：對我國AI企業的一些建議

1、扎實做好數據安全和個人信息保護領域的基礎合規工作。數據安全和個人信息保護一直以來都是AI領域的監管重點，國家對此已出臺了一系列法律法規加以規范。數據安全作為AI業務發展的基礎保障，其遭到破壞會造成企業的直接經濟損失，同時可能威脅企業的用戶隱私與個人信息安全。AI企業應加強相關措施的完善和制度建設，采取有效的保密分類、訪問控制、數據加密及脫敏等各項保護措施，以保障數據安全和用戶個人信息安全，適應國家在此層面的相關要求。

2、重視AI倫理方面的潛在風險。面對AI發展帶來的倫理挑戰，企業應高度重視并積極應對。必須看到，AI倫理風險可能會導致“技術中立說”在AI領域受到挑戰。AI是對人腦的模擬和延伸，其有很高的類人性和擬人性因素，而其“品行”和“能力”很大程度上取決于開發者預設的使用場景、機器學習時使用的算法邏輯和數據源等，因此部分AI系統的開發可能先天就帶有違反人類倫理和社會公序良俗的“基因”，使技術不再中立。正因如此，歐盟立法提案已經把AI系統歸分為不同的風險等級加以立法限制，并設專門章節對會產生“不可接受”（unacceptable）風險的AI系統的上市和/或使用予以禁止（Prohibited Artificial Intelligence Practices）。

我國目前已通過《關于加強互聯網信息服務算法綜合治理的指導意見》明確了建立算法備案制度和企業主體責任制的原則，AI企業試圖通過“技術中立”尋求免責的可能性和可行性已經越來越小。因此，AI研發企業要在技術開發過程中從源頭上把控和評估相關技術所存在的倫理風險和問題，要做好自身代碼審計和管理工作，厘清算法邏輯，為后續算法備案及算法透明化要求的落地做好準備。

3、關注并積極應對AI技術發展可能導致的行業壟斷問題。數據市場作為AI技術發展和進步的基礎支撐體系之一，具有廣泛的多樣性和靈活性，AI企業擁有的數據越多、產品做得越好，便能吸引更多用戶、產生更高的經濟效益，最終能夠獲取更多數據。這種循環可能會加重AI行業的壟斷現象，AI系統復雜的算法技術也使得壟斷行為變得更加隱蔽和難以探測，使現有的反壟斷監管手段面臨嚴峻考驗。

在反壟斷執法日益趨嚴的情況下，AI企業更需關注AI技術所帶來的潛在的行業壟斷風險，同時關注對消費者利益的保護和對市場公平競爭的維護。未來隨著AI產業的發展，國家勢必會不斷加強在AI領域的反壟斷和反不正當競爭立法，企業可以提前應對并積極適應相關政策措施，這對企業未來的長遠發展具有重要意義。

4、擁抱變化，敏捷治理。面對AI行業的快速發展，國家層面的敏捷治理或將成為企業合規工作需要面臨的新常態，而AI行業相關領域的立法和監管細節尚不成熟，也將導致企業在未來一段時間內會面臨監管規則并不完全清晰的困境，這也對企業自主適應能力提出了挑戰。

此等情形下，企業管理層需要認識到不斷變化和深化的監管規則會是未來一段時間內需要持續面對的問題之一。同時，企業要積極搭建企業內部的合規敏捷治理結構，建立不同組織層面的合作機制和溝通橋梁，快速應對不斷深化的監管規則，同時對未來更高級AI的潛在風險持續開展研究和預判。

知己知彼，方可百戰不殆。

小貝結語

AI的高速發展和進步為人類社會帶來了重大機遇，同時也對當今立法和執法環境提出了較為嚴峻的挑戰。就AI領域的立法和監管現狀來看，針對數據安全和個人信息保護方面的立法目前在逐步趨于完善，但就AI倫理等無法在傳統立法框架下妥善解決的問題，或將成為今后立法的關注重點和監管難點。相關企業一方面要抓緊機會，借此AI產業迅猛發展和國家大力支持的東風，不斷充實自身技術和實力；另一方面，也要格外關注相關監管要求和趨勢，完善企業內部合規敏捷治理結構，為業務長久穩定發展保駕護航。

總 編輯 | 中倫律師事務所 胡駿律師