專家視角：倉促上馬大語言模型的風險

貝里維爾機器學習研究所（BIML）最近參加了網絡安全公司Calypso AI在美國華盛頓特區舉行的Accelerate AI 2023大會。會議囊括了來自政府和產業界、監管部門，以及學術界的從業人員。其中一場研討會非常應景，題為“LLM在國家安全等領域涌現的風險與機遇”。本文討論的內容即為這場研討會主題的延伸。

當然，以下內容絕非LLM亂編的。

大語言模型（LLM）是近期引發全球熱議的一種機器學習系統。OpenAI出品和部署的ChaptGPT（又名GPT-3.5）就是個LLM，是許多文本生成式人工智能（AI）模型中最為普遍和流行的。其他生成式模型還包括圖像生成器Dall-E、Midjourney和Stable Diffusion，以及代碼生成器Copilot。

LLM和其他生成式工具為各種應用帶來了巨大的機會，業界紛紛投身部署此類系統。LLM可以帶來很多樂趣，解決科學難題，幫助解決知識管理的棘手問題，編出有意思的內容，最重要的是，有可能讓世界朝著人工通用智能（AGI）和可催生大量認知科學突破的表示理論更近一步。

但是，使用目前尚未成熟的LLM，或者其他隨便哪種生成式AI工具，都伴隨著很現實的風險。

鸚鵡學舌與信息污染

LLM采用海量信息（3000億詞，大部分是從互聯網上刮取的）訓練，并通過自動聯想來預測句子里的下一個詞。因此，大多數科學家認為，LLM并不能真正“理解”什么，也沒辦法真正思考。正如一些研究人員所說的，它們就是些“隨機鸚鵡”。不過，LLM確實能以令人大呼神奇的方式結合上下文生成讓人驚艷的文本流，往往還挺有用。

反饋循環是各種ML模型中的一類重要問題（也是BIML數年前引入的：“[raw:8:looping]”）。當時關于此問題的討論如下：

模型被微妙的反饋循環搞亂了。如果模型的數據輸出后續又作為輸入反饋進同一個模型，會出現什么情況？提示一下，據傳早期的谷歌翻譯就發生了這種情況，當時機器翻譯的頁面被用來訓練機器本身。場面十分歡樂。時至今日，谷歌通過自己的策略限制了一些翻譯的搜索結果。

可以想見，互聯網上可被輕松抓取的大量內容如果都是質量堪憂的AI模型生成的，然后這些LLM還開始輸入自己產出的東西，會是怎生情況？這不就是信息污染嗎？

如今，一些AI研究人員和信息安全專業人員已經開始對信息污染問題深感擔憂，遠遠不斷噴個不停的信息污染管道聽起來實在是太糟糕了。

爹味說教即服務

LLM堪稱胡扯小能手。這些模型經常非常自信地表達錯誤觀點和替代事實，并經常在對話中編造信息來證明自己給出的答案（包括似真還假的科學參考）。想象一下，如果互聯網上刮取的普通知識（含有很多錯誤）被用來創建新內容，會造成什么后果？

這位終極“回復男”可不是未來我們想要的新聞故事撰寫者。事實確實很重要，一切哪能全靠編？

復刻糟糕安全

LLM的訓練數據往往在很多方面都是有傾向性的。性別歧視、種族主義、仇外心理和厭女制度都可以且將基于最初在社會進步程度較低時收集的數據集建模。傾向性是LLM的一大嚴重問題，而操作層面的小修小補不太可能解決這個問題。

信任深度偽造（Deepfake）

深度偽造這個生成式AI的副作用已經引發討論一段時間了。偽造或欺騙一直都是種安全風險，但現在我們面對的是造出輕易讓人信以為真的高質量偽造品的能力。例舉幾個明顯的最壞情況：左右市場、引發戰爭、激化文化分歧等等。一定要注意視頻的來源。

自動化一切

LLM之類生成式模型具備替代諸多工種的能力，包括低端白領工作。無數人都從自己的工作中獲得足夠的滿足感，如果不管愿不愿意，所有這些工作都被更廉價的機器學習（ML）系統替代，會出現什么狀況？比如說，本地體育報道和營銷文案的編寫內容創建工作就已經被此類模型替代了。應該由LLM來編寫文章嗎？LLM從事司法實踐？那醫療診斷呢？

用好工具做壞事

生成式AI可以創建很多有趣的東西。還沒玩過ChatGPT的同仁應該嘗試一下。還沒哪種新技術這么好玩的，問世之初的Apple ][+和Java applet都沒這么有意思。

但生成式AI的強大能力也可以被用于邪惡目的。例如，如果我們讓ML負責設計新型病毒，要求既具備新冠病毒的傳播能力，又具有狂犬病延遲發病參數，會出現什么后果？或者，讓ML負責創造出花粉自帶神經毒素的植物？如果普通人都能想出這些卑鄙用法，真正的惡人攜手ML展開頭腦風暴又會是怎生情況？

工具本不存在道德或倫理。而且，說實話，“保護提示”的主意根本就是個做做樣子的解決方案，跟用命令行過濾來保護超算訪問權一樣。

用破杯子裝信息

現在得認真考慮數據護城河這事兒了。因為，如果ML模型（在人的幫助下）能夠獲得你的數據并以此訓練，學習如何完美模仿你的行事風格，它還真會這么干。這會導致多種風險，最好通過仔細保護自身數據集來解決，而不是將自己的數據塞進ML模型還公開發布這一模型。在ML淘金時代，真正的金子其實是數據。

數據保護可不像聽起來那么簡單。不然為什么政府現行的信息分級系統老保不住保密信息？敏感數據和機密信息保護已然是項艱巨的任務，如果我們還有意用機密信息訓練ML系統并面向全世界發布，后果可想而知。

如今存在數據提取和轉移攻擊，所以，往ML杯子里倒東西時仔細一點。

如何應對LLM風險？

那么，我們是否應該像某些技術專家出于私利地建議的那樣，強行暫停ML研究幾個月呢？沒必要，這太蠢了。我們需要做的是識別這些風險，然后直面風險。

好消息是，我們正圍繞保護ML系統構建一整個行業，即所謂機器學習安全（MLsec）。不妨看看這些新興熱門初創公司都在做些什么來管控ML風險，不過，記得要帶著審慎理智的眼光看。