信息影響行動將迎顛覆性變革？大型語言模型將徹底改變數字宣傳活動 - 網安

2023年1月11日，美國喬治城大學（Georgetown University）安全與新興技術研究中心（CSET）、OPENAI和斯坦福互聯網天文臺發布題為《生成語言模型和自動化影響行動：新興威脅和潛在緩解措施》研究報告。這份重量級報告指出，諸如ChatGPT之類的人工智能系統憑借其產生類似人類文本的不可思議的能力而俘獲了公眾的想象力，有望改變各國部署數字宣傳行動以操縱公眾輿論的方式。

報告摘要稱，近年來，人工智能(AI)系統有了顯著的改進，其功能也得到了擴展。特別是，被稱為“生成模型”的AI系統在自動內容創建方面取得了巨大進展，例如從文本提示生成圖像。一個發展特別迅速的領域是可以生成原始語言的生成模型，這可能對法律和醫療衛生等不同領域產生積極影響。

然而，生成語言模型(或簡稱“語言模型”)也可能有負面應用。對于惡意行為者來說，他們希望傳播宣傳信息，這些信息旨在塑造人們的看法，以維護宣傳者的利益，這些語言模型有望自動創建令人信服和誤導性的文本，用于影響力行動。對于社會來說，這些新進展帶來了一系列新的擔憂:那些試圖暗中影響公眾輿論的人可能會發動大規模的——甚至可能是極具說服力的——影響運動。

研究團隊稱報告旨在評估語言模型的變化如何影響運營，以及可以采取哪些步驟來減輕這些威脅?這個任務本質上是推測性的，就像人工智能和影響力一樣正在迅速變化。報告中的許多想法都是由作者于2021年10月召開的一次研討會提供的，該研討會匯集了人工智能、影響力操作和政策分析領域的30名專家，討論語言模型對影響力操作的潛在影響。得出的報告并不代表研討會參與者的共識，錯誤是研究人員自己的。

研究團隊希望這份報告對那些對新興技術的影響感興趣的虛假信息研究人員、制定政策和投資的人工智能開發人員，以及為技術和社會交叉路口的社會挑戰做準備的政策制定者提供有益幫助。

通過利用大型語言模型（LLM）快速部署和擴大影響力活動，在線影響力和虛假信息操作的提供者將能夠更輕松地擴大和加速他們的努力。

借助功能更強大、更容易獲得的大型語言模型，開展影響力行動的參與者將能夠自動化社交媒體帖子；使用這些模型撰寫完整的文章來填充假新聞網站。據研究人員稱，可構建聊天機器人以一對一的方式與目標進行交互。簡而言之，語言模型可能會降低構成大規模影響力活動的宣傳成本，并創造更具影響力的內容。

大型語言模型的進步引起了極大的興趣，并促使投資者向所謂的生成式人工智能公司投入數十億美元。例如，據報道，微軟將向OpenAI投資100億美元——其研究人員為周三（11日）的研究做出了貢獻——這筆注資將使該公司的估值達到290億美元。該公司的進步刺激了對構建人工智能模型以生成內容的公司的投資熱潮，并在谷歌造成了恐慌。據報道，谷歌的管理人員已宣布“紅色代碼” ，以確保OpenAI不會蠶食該公司利潤豐厚的搜索引擎業務.

到目前為止，大型語言模型尚未作為影響力活動的一部分進行部署，該報告的作者正在敦促公司和政策制定者積極主動地建立護欄。“我們不想等到這些模型被大規模部署用于影響力操作之后，才開始考慮緩解措施，”該報告的主要作者之一、安全與新興技術中心的研究員喬什·A·戈德斯坦 (Josh A. Goldstein) 說。

要使用語言模型執行影響力行動，操作員需要模型存在、訪問該模型、傳播由它生成的內容以及用戶使用它的能力。作者考慮了多種干預措施，以防止大型語言模型被用于影響力活動。

例如，這些措施包括對AI硬件的訪問控制，使構建LLM變得更加困難，對現有AI模型的使用限制，使宣傳者無法訪問他們需要的模型，采用數字來源標準，使語言模型產生的內容很容易被發現，而媒體素養活動則使用戶更難受到影響。

但周三的報告說明了應對這些挑戰的規模：報告指出，目前美國處理虛假信息的方法在社交媒體平臺和研究人員中“支離破碎”。解決大型語言模型帶來的威脅將需要社交媒體公司、政府和民間社會之間協調的“全社會”方法——打擊在線虛假信息的努力中嚴重缺乏這種團結一致的努力。

周三發布的報告是CSET研究人員之間長達一年多合作的結果；斯坦福大學互聯網天文臺，在網絡影響力運營研究方面做出了開創性的研究；和OpenAI的研究人員一起，他們在機器學習方面的突破性進展在很大程度上促成了當前對該領域的強烈興趣。

通過簡化與LLM的交互，OpenAI幫助研究人員、技術人員和許多普通用戶看到了使用該模型執行查詢、回答復雜問題但也可能將其用于有害用途的潛力——比如使用該模型考試作弊或編寫惡意代碼。

雖然沒有證據表明這些模型迄今已被用作影響行動的一部分，但有記錄在案的用例說明了國家行為者如何以有害的方式使用語言模型。

去年，一位AI研究人員使用來自有毒在線留言板4chan的大量數據對現有的LLM進行了培訓——一個稱為微調的過程。然后，研究人員讓該模型在論壇上肆虐，在該網站上發布了 30,000多個帖子——主要是愚弄該網站的用戶，讓他們認為這是一個合法用戶在模仿該網站的種族主義、厭惡女性的言論。

很容易想象法學碩士如何在外國選舉中代表受青睞的候選人執行類似的任務，但戈德斯坦警告說，重要的是不要夸大這些模型在革命性的影響力操作中所構成的威脅。

“我認為我們不參與威脅通脹是至關重要的，”Goldstein說。“僅僅因為我們評估語言模型會有用，并不意味著所有使用語言模型的影響行動都會自動產生很重大的影響。”

本周，《自然》雜志發表了一項重要研究，研究了俄羅斯互聯網研究機構在2016年期間使用Twitter消息傳遞的影響，以及暴露于這種影響行動的用戶是否改變了他們的信仰或投票行為。研究表明，沒有證據表明暴露的 Twitter消息與俄羅斯的外國影響運動以及態度、兩極分化或投票行為的變化之間存在有意義的關系。

像這樣的研究強調，即使世界各國都投資于他們影響在線對象的能力，但仍然很難對改變思想產生影響。“我們不應該僅僅因為它們的存在就假設它們會產生重大影響，”Goldstein 說。