大語言模型的七大應用風險

隨著基于大語言模型的生成式人工智能的企業和消費應用快速發展，其安全風險已經開始快速累積。我國不久前剛剛頒布的《生成式人工智能服務管理暫行辦法》明確規定了生成式人工智能服務不得侵犯個人隱私、知識產權、商業機密或捏造有害虛假信息。

但是由于生成式人工智能技術已經快速滲透到各種產品、服務和技術中，業務用例不斷增長，相關內容安全和網絡安全違規事件勢必將呈現爆發式增長。Salesforce最近對500多名IT主管進行的調查顯示，盡管大多數人(67%)在未來18個月內優先考慮在其業務中使用生成式AI，但幾乎所有IT主管都承認需要采取額外措施來解決安全問題。

報告顯示，大多數企業都計劃購買（而不是開發）生成式人工智能，許多企業準備在業務應用中集成該功能（服務）。這意味著安全主管們需要未雨綢繆，投入時間了解不同業務的生成式人工智能用例及其相關風險。因為不同企業和業務領域的生成式人工智能用例存在很大差異，引入的安全風險也存在迥然不同。

七個最熱門的大語言模型業務用例與風險

根據Forrester的《生成式人工智能安全報告》，在企業應用市場最熱門的七大生成式人工智能用例及其相關的安全風險是：

營銷：文本生成器允許營銷人員立即生成營銷活動的草稿。Forrester表示，這會帶來數據泄露和競爭情報威脅。大語言模型營銷應用的風險還包括內容發布前監督和治理流程不善導致的公共關系/客戶問題。

設計：Forrester指出，圖像生成工具激發了設計師的靈感，大大提高創意模型的制作效率，但這同時也引入了模型中毒、數據篡改和數據完整性威脅。需要考慮的風險包括數據完整性問題和生成內容的潛在版權/知識產權問題。

IT：程序員使用大型語言模型(LLM)來查找代碼中的錯誤并自動生成文檔。Forrester表示，這會帶來數據泄露、數據泄露和數據完整性威脅，而生成的文檔可能會泄露公司重要系統機密信息。

開發人員：TuringBots能幫助開發人員編寫原型代碼并實現復雜的軟件系統。但Forrester認為，這會帶來代碼安全、數據篡改、勒索軟件和IP盜竊問題。潛在風險包括不遵循SDLC安全實踐的不安全代碼、違反知識產權許可要求的代碼，或生成AI被黑客入侵以勒索生產系統。

數據科學家：數據科學家可以利用生成式人工智能生產和共享模型訓練數據，優點之一是不會侵犯個人隱私。但這引入了數據中毒、數據反混淆和對抗性機器學習威脅。對手可利用逆向工程分析合成數據生成模型，識別其所使用的源數據。

銷售：生成式人工智能可幫助銷售團隊產生想法，或者使用包容性語言創建新內容。但這同時這會帶來數據篡改、數據泄露和法規遵從性威脅。銷售團隊用AI生成和分發內容時可能會背離聯系人的偏好。

運營：企業可在內部運營中使用生成式人工智能來提升自動化和智能化水平。但這也引入了數據篡改、數據完整性和員工體驗威脅。Forrester指出，風險在于，決策使用的數據可能會被篡改，從而導致錯誤的結論和執行。

總結：留神AI第三方風險

雖然Forrester列出的七大最熱門生成式AI業務用例（及風險）都集中在企業內部業務功能，但Forrester也敦促企業安全領導者不要忽視供應商和第三方風險因素：“鑒于大多數組織都會將生成式人工智能集成到已部署的產品和服務中，安全領導者的當務之急是管理第三方風險管理，因為除了微軟和谷歌外，大多數解決方案中的生成式AI來自第三方供應商。這些第三方AI服務的風險管理需要根據以上不同業務用例具體分析。