基于人工智能的網絡空間內容安全治理方法研究

近年來，人工智能技術對社會的發展產生了深刻的影響和推動作用。然而，這為網絡空間內容安全治理帶來了諸多挑戰。以電信網絡詐騙為代表的新型詐騙方式已經逐步呈現出跨地域、跨行業、跨網絡等明顯特點，而且詐騙手法也逐漸變得“智能化”。它們從早期單一詐騙方式發展演變為基于人工智能生成內容（AIGC）技術，并結合獲取的個人信息生成精準詐騙腳本。此外，詐騙腳本格式和內容的變化速度也快速迭代變換，這些變化給網絡空間的內容安全治理領域帶來巨大挑戰。不斷“智能化”的電信網絡詐騙手段對網絡空間內容安全融合分析能力、治理時效性等提出了更高的要求。因此，需深度結合新型人工智能技術，持續提升內容安全治理水平。

一、網絡空間內容安全治理領域面臨著風險與挑戰

現階段，通信運營商網絡空間內容安全治理體系主要采用“兩級聯動”的治理模式。第一級是針對全國普遍存在的不良信息傳播問題，采用集中發現、集中治理、集中處置與運營的方式，實現一點違規全國知曉的治理效果。第二級是針對各省、各地區存在的個性化不良信息治理問題，進行源頭治理、個性化治理與運營等環節，實現從事前預防、事中控制、事后處置三方面對不良信息傳播鏈條進行綜合治理。

隨著人工智能技術的迅速發展和普及，網絡空間中人工智能技術高效的學習能力、快速迭代能力、復雜的多樣性等特點愈發明顯。同時，使用 AIGC 技術生成文本、圖片、音頻、視頻等信息的門檻也逐步降低，這促成了網絡空間中的不良信息內容愈發復雜、類型變化愈發迅速、趨勢變化愈發難以捉摸。

一是傳統網絡空間內容安全治理效率存在瓶頸。現階段，不良信息傳播腳本迭代速度與類型變化愈發迅速，像垃圾消息、騷擾電話、不良網站、電信網絡詐騙等治理條線的不良信息中存在大量類似腳本內容，傳統治理模式需要耗費大量時間識別難以辨別真偽的不良信息。例如，基于人工智能換臉技術可以在短時間內生成大量圖片信息，且這些圖片讓用戶難以辨識其信息真偽，很可能被用于欺詐、虛假宣傳等不良行為，嚴重危害了用戶合法權益。因此，這要求我們在短時間內識別并處置出大量類似的 AIGC 技術生成的違規內容信息。

二是傳統網絡空間內容安全治理手段存在局限性。現階段，AIGC 技術被不法分子濫用等情況存在，這導致不良信息監控量呈每年上升趨勢，不良信息傳播腳本內容愈發復雜。傳統單一條線的治理手段已經不能及時識別人工智能生成的不良信息腳本內容。例如，人工智能語音合成技術已經可以生成相對自然、流暢的合成語音信息，通過這種以假亂真的音頻信息可能讓用戶難以辨識對方真實身份，這讓用戶極易被不法分子實施騷擾或詐騙。因此，這要求我們在內容安全治理環節中優化治理手段，實現及時識別 AIGC 技術生成的違規內容信息等。

為有效應對這些風險與挑戰，我們宜針對以垃圾消息、騷擾電話、不良網站、電信網絡詐騙為主的治理場景，利用人工智能識別能力，從文本內容、音頻指紋信息、圖片內容等緯度實現對不良信息內容的快速甄別與處置。一方面，這可以節省人工監測環節的工作量，提升不良信息處置效率。另一方面，這可以有效提升治理環節的識別與監測效率，基于人工智能技術快速構建場景模型，識別新型不良信息樣本，做到早發現、早抑制、早處置。

二、人工智能技術引入網絡空間內容安全治理領域技術研究

在網絡空間內容安全治理領域，結合人工智能技術的優勢，可以實現對不良信息數據的快速甄別、快速處置、實時持續優化，從而提升網絡空間內容安全治理效率，增強治理效果。

一是利用人工智能技術提升網絡不良輿情監測能力。在內容安全治理領域，輿情監測是事前預警與防范的重要手段。傳統輿情監測能力僅限于獲取互聯網信息，對于互聯網輿情信息的實時融合關聯分析能力較為薄弱。但是結合人工智能自動文本摘要技術，可實現對互聯網上文章、評論、帖子等信息進行實時監測和融合分析，從而更好地了解公眾對其關注話題的態度和情緒，及時掌握社會不良輿情動態，提升事前預警與防范水平。

二是利用人工智能聲紋識別技術增強治理效果。目前，騷擾詐騙團伙具有換卡不換人的鮮明特點，這導致僅以關停號碼、關閉語音或短信功能等治理手段，并不能有效遏制不良信息傳播。與傳統的身份識別方法相比，人工智能聲紋識別技術具有更高的準確性和安全性，通過建立違規人物聲紋采集、特征提取、識別算法等能力，結合匯聚歷史違規人物的語音特征，建立聲音指紋黑名單庫，可實現從人物語音特征緯度識別詐騙犯罪團伙，從而提升內容安全治理效果。

三是利用人工智能語音識別技術提高治理效率。網絡空間不良信息傳播途徑有逐步從違規文本內容向違規語音內容轉移的趨勢。基于傳統語音轉寫能力并結合人工智能語音關鍵詞檢測技術，可以識別帶有特定關鍵詞的語音信息，相比傳統語音識別能力，這種方法具有響應速度更快、算力消耗更低、高定制化等特點。此外，還可以通過語音自然度、流暢度、音頻質量、語音情感表現力等方面進行綜合分析和識別，提高具有特定關鍵詞的語音識別準確率，從而甄別疑似違規語，保護用戶權益不受侵害。

四是利用人工智能圖片識別技術提升治理水平。傳統的基于違規圖片相似比等識別技術只能滿足對極為相近的違規圖片進行機器研判和處置，利用人工智能技術基于對歷史違規圖片進行深度學習及建模，可以實現更加智能化和高效化的圖像識別和分類能力，并有助于對違規圖片類型進行趨勢分析，發掘疑似違規圖片的發展動態，這樣就可以實現對違規圖片內容的提前發現、提前處置，并可以為潛在被騙客戶提供及時預警，保護客戶權益不受侵害。

五是利用人工智能外呼機器人技術輔助自動化治理。人工智能外呼機器人是基于機器學習和自然語言處理等技術，實現自動化呼叫、語音識別等功能的智能語音應答系統。在內容安全治理領域，傳統的回撥取證方式是通過人工向疑似騷擾詐騙分子進行回撥電話驗證其行為特征，這需要耗費大量的時間，極大影響治理效率。在發現疑似詐騙分子時，可利用外呼機器人技術對其行為進行驗證，識別對方說話的內容，并根據需要進行自動回答，實現自動智能化驗證。同時，可結合人工智能語音合成等技術，并根據業務需要，將提醒的內容轉換為語音提示，提高機器人交流效率。

三、結束語

綜上所述，濫用 AIGC 技術生成并傳播虛假信息等系列行為不僅侵害用戶權益，甚至影響國家安全與社會穩定。建議在以下方面采取措施：在行業監管方面，應加強對人工智能生成與傳播互聯網內容的監管力度，推動研制人工智能技術濫用管理相關規范標準，倡導內容合規傳播等行業自律及協同治理機制；在企業落實方面，基于“以人工智能對抗人工智能”的理念，開展基于人工智能的內容安全監測識別與自動化審核技術手段研究與推廣應用，精準抑制網絡空間內的不良信息傳播；在公眾意識方面，應積極開展內容安全典型案例普及和教育活動，提高公眾對人工智能生成不良信息的辨識能力，發現疑似不良信息要積極舉報，協同維護清朗網絡空間。