實戰 | 初探生成式AI理論與商業銀行應用

長期以來，人類試圖創造智能體來提高生產效率。隨著人工智能從六七十年代的專家系統，發展到八十年代的概率推理，再到近十年的機器學習，機器已經初步具備人類的分析能力（Analytical），甚至在許多領域比人類做得更好，例如垃圾郵件檢測、商品推薦、圖像識別、欺詐信息識別等。然而，人類不僅具備分析能力，還具備強大的創造能力，例如設計產品、撰寫詩歌、制作游戲等。因此，生成式AI技術也逐步取得跨越式發展，并在近期獲得學界和業界的強烈廣泛關注。在2022年4月，美國OpenAI公司發布了DALL-E2，可以根據用戶輸入的言語描述，生成對應的圖片，并且能夠非常精準地模仿繪畫風格，獲得業界的廣泛關注。與此同時，文本生成型AI也獲得巨大成功，以2022年底OpenAI推出的ChatGPT為典型代表，它不僅考慮交互過程中的上下文，與用戶對答如流，而且，還能完成復雜任務，例如撰寫小說、編寫程序、求解習題、寫商業文案等。因此，在理念的轉變、更好的模型、更強大的算力和更豐富的數據共同支撐下，2022年被稱為生成式AI元年。總的來說，在依賴人類原創能力的工作中，生成式AI能夠更好地促進人機協同，幫助人們以更高效、更低成本的方式去創作，提高生產效率，并在廣泛的應用市場中創造巨大的經濟價值。

生成式AI模型分類

所謂生成式AI，就是通過各種機器學習方法，從數據中學習對象的組件，進而生成全新、完全原創內容的AI，包括生成文字、圖片、視頻、音頻等內容。值得注意的是，這些AI生成的內容，與訓練數據十分相似，卻并不是簡單地復制訓練數據。通俗理解為，對于輸入樣本X，通過某種方式學習到它的分布p(X)，然后，對這個分布隨機采樣，就能獲得生成結果。根據輸入和輸出格式，常見的大型生成式AI模型分類如圖1所示。能夠實現通過學習訓練數據，達到生成內容的能力，其背后離不開主要的生成類模型：生成對抗網絡、自回歸模型、變分自動編碼器和擴散模型。

圖1 生成式AI模型分類

1.生成對抗網絡

生成對抗網絡（GAN）最早是在2014年由著名深度學習學者Ian J.Goodfellow提出。深度學習（Deep Learning）能夠克服傳統機器學習過于依賴人工設計特征工程的缺陷，它試圖模仿人類大腦的思維過程，利用多層神經網絡學習低層基本特征，并形成高層抽象特征，從而進行決策判斷。深度學習在表現強大能力和取得廣泛應用的同時，也暴露了明顯的問題，那就是為了訓練AI服務，需要海量數據。然而，絕大多數應用場景沒有足夠的訓練數據，或者獲得訓練數據的代價非常高昂。生成式對抗網絡就是在這樣的背景下提出來的，其原理如圖2所示。

圖2 生成對抗網絡示意圖

生成對抗網絡就是自己生成數據，自己訓練自己。在原理上，它使用兩個神經網絡：生成器（Generator）和判別器（Discriminator）。生成器負責不斷學習如何生成逼真的數據來騙過判別器；而判別器負責區分哪些數據是真實的，哪些是由生成器生成的。生成器和判別器交替周期訓練，即固定判別器，訓練生成器；固定生成器，訓練判別器。經過多輪學習后，生成器根據學習結果，不斷生成數據供判別器進行判斷，從而大幅提升生成器生成數據能力以及判別器區分數據能力。最后，在這個過程中只需要保留生成器，就可以解決訓練深度學習模型數據不足的問題。

2.自回歸模型

自回歸模型（AR）首先出現在自然語言處理領域，指的是使用大量無標簽的文本數據，使用無監督方法訓練標準的語言模型，即對于由n個詞組成的句子序列s={w₁,w₂,…,w_n}，其中任意詞wi出現的概率可以根據前文計算得到P（w_i | w_i-k,…,w_i-1）。生成對抗網絡中的生成器和判別器都是深度神經網絡，它們通過特征提取器來理解輸入內容（語言、圖像、視頻等）。目前，主流的特征識別與提取器是由谷歌公司在2017年提出的Transformer，它克服了卷積神經網絡（CNN）在全局特征提取上的不足，以及循環神經網絡（RNN）的長距離依賴建模不穩定和無法并行訓練的缺點。

Transformer是完全基于自注意力機制（Self-Attention）的深度學習模型，它包含編碼器（Encoder）和解碼器（Decoder）。其中，編碼器對輸入內容進行編碼，然后，再將編碼后的數據傳入解碼器進行解碼，解碼后就可以得到輸出內容。值得注意的是，解碼器是逐步序列先后地生成內容。編碼器和解碼器的核心組件是堆疊的多頭自注意力機制和前向神經網絡。由于它能夠并行數據計算和模型訓練，以及強大的特征提取和表示能力，逐步成為AI領域的主流模型，并深刻改變了AI的發展軌跡。基于大規模開源數據集，使用Transformer模型作為特征提取器，訓練了億級參數規模的大型語言模型（LLM,Large Language Model）。其中，典型生成式模型代表是OpenAI的GPT模型，它從具有1.17億參數的GPT-1，逐步發展到具有15億參數的GPT-2，再到具有1750億參數的GPT-3。

3.變分自動編碼器

變分自動編碼器（VAE）是在2013年提出的生成模型，它基于深度神經網絡的無監督方法實現輸入內容的編碼表示，再通過解碼方式重構出原來的輸入內容，是用來建模隱變量的概率模型，典型結構如圖3所示。它包括兩個部分：編碼器和解碼器。編碼器是推斷網絡，它利用深度神經網絡來估計變分分布，即輸入是樣本x，輸出是變分分布q(z|x;θ)，這里的z指的是中間隱變量。解碼器是生成網絡，利用神經網絡估計概率分布，即輸入是變分分布，輸出是概率分布p(x|z;)，利用變分分布來重構輸入x。

圖3 變分自動編碼器結構

因此，變分自動編碼器的主要目標是從對象的學習分布中生成新的采樣數據，可以從隱變量空間的概率分布中，學習到潛在屬性并構造新的元素。對于不同的隱變量空間維度，變分自動編碼器的性能差異較大，通常來說，當隱變量空間維度越大，可以保留的概率分布信息就會越多。

4.擴散模型

在上述模型的基礎上，結合這些模型的優點，2022年提出的擴散模型（Diffusion）給生成式AI帶來了巨大的變革，在性能上優于GAN和VAE。擴散模型的直覺來源于物理學，即氣體分子從高濃度區域逐步擴散到低濃度區域。它的工作原理是：學習因噪聲引起的信息衰減，試圖學習噪聲分布（并不是上述模型的學習數據樣本分布）。

典型的擴散模型結構如圖4所示，包括正向過程和反向過程，它的關鍵性質是馬爾可夫鏈，即在給定當前狀態以及所有歷史狀態的條件下，其未來狀態僅依賴于當前狀態。在每一小步過程中增加噪聲，隨著時間的推移，加入的噪聲越來越少，而之前所有加入的噪聲逐漸擴散直至均勻。在反向過程中，每個階段都會產生一個噪聲稍小的樣本，直到原始樣本的階段，從而逐漸學習到對抗噪聲的能力。

圖4 擴散模型結構

生成式AI在商業銀行的潛在應用

1.客服助手

為了提高對客服務質量和效率，商業銀行往往都采用了智能客服。目前，智能客服主要是基于任務式對話，需要識別客戶意圖和結合預置的對話流程，因此，在多輪對話管理以及指代理解方面不夠靈活。生成式AI更能理解客戶的上下文需求，提煉客戶的訴求，從大量知識庫文檔中快速檢索相關知識，并輔助座席生成回復，減少客戶等待時間，提高客戶滿意度。同時，也需要重點考慮客服助手生成內容的合規性。

2.精準營銷

在營銷過程中，文案、圖片甚至視頻等素材設計，對客戶觸達和轉化起到非常重要的作用。通過生成式AI創建多維度的客戶畫像，更好地理解客戶需求。根據歷史成功的營銷活動，結合當前的金融產品、金融服務或流行元素和客戶畫像，獲得大量候選營銷素材，在人工干預的前提下，降低營銷活動的成本，提高營銷人員工作效率，以及營銷活動的購買轉化率。

3.財富助手

在大資管時代，客戶對財富管理數字化服務的需求逐漸強烈。通過生成式AI，結合金融市場的行情信息，一方面為客戶提供內容陪伴、資產配置、投資者教育和非理性投資行為糾偏等服務；另一方面，輔助商業銀行進行智能投研，深度挖掘市場的價值信息，提供專業行業分析和市場走勢判斷能力。甚至，讓生成式AI學習金牌理財經理的服務過程，為客戶提供個性化投資咨詢，根據用戶的需求和風險偏好，推薦合適的投資產品，不斷優化客戶體驗。

4.交易助手

生成式AI智能分析貸款申請，降低人工審批過程中的錯誤率和工作量，并幫助評估各種風險，包括信用風險、市場風險和操作風險等，還能夠評估客戶的信用等級，結合客戶的特征和行為，將客戶進行分類，為客戶提供個性化授信額度，以便銀行提供更智能的貸款策略。同時，還可以幫助銀行智能定價和交易債券，提高效率。還可以對市場趨勢進行預測，為銀行提供決策支持，優化投資組合，提高投資回報率。

另外，利用生成式AI的代碼生成能力，能夠促進金融科技從傳統軟件開發模式進入智能化開發模式，提高軟件開發效率和質量，保證金融IT服務的穩定性和可靠性；利用生成式AI的圖像生成能力，結合元宇宙、Web 3.0和數字化網點，為客戶提供沉浸式體驗；利用生成式AI的分析能力，基于大量數據和模式，實時檢測和預防欺詐和洗錢行為；快速響應風險事件，包括網絡安全和金融市場風險等；幫助銀行實現智能合規和監管，提高合規性和監管效率。

同時，生成式AI也帶來很多挑戰，如何保證生成式內容在金融領域的專業性和正確性，如何在確保數據安全的條件下融合銀行內外的數據訓練生成式AI，如何判別生成內容的知識產權，如何識別生成內容的安全和隱私，以及由于替代部分創造性職業而帶來的就業問題等，值得引起全社會足夠重視。

浦發銀行的生成式AI探索實踐

浦發銀行積極探索生成式AI在銀行場景的應用，已在對公、零售、運營、審計等多個領域完成應用落地，提高業務發展的效率。

在對公場景，探索了企業智能風險分析報告生成，基于業務場景的專家經驗，包括財務異常、財務造假分析規則和風險知識庫，通過大模型輔助分析企業風險，結合上市公司財務文本數據，生成財務結構、償債能力、凈利潤、自身輿情等總結性分析。同時，還探索了行業區域研究報告生成，通過搜索的方式收集研究報告素材，結合行業和區域主題，基于大模型實現房地產、新能源汽車等行業研究報告撰寫。在交易銀行公司業務場景，針對豐富產品，涉及外匯政策、監管要求等，通過文檔解析和個性化分片策略，對文檔知識進行高內聚拆分和大模型向量化，再基于大模型生成能力，為總分行產品經理提供精準的文檔問答服務。

在零售對客場景，考慮到生成式AI的知識幻覺問題和銀行業監管合規要求，生成式AI主要是輔助業務人員。在基于智能交互的數字理財經理場景中，為零售客戶提供7×24小時的覆蓋投前、投中、投后的財富管理全流程服務，基于生成式AI，結合大規模行內文檔知識庫，快速生成場景相關問答，由業務人員審核、合規和數據泛化后，快速構建財富管理知識庫，提高虛擬數字人的領域知識廣度和深度，提升客戶體驗。在遠程銀行智能客服場景中，為了減少客戶等待時間，基于搜索+生成式AI的能力，快速從大規模客服知識庫中檢索相關知識，并生成建議回復，提高人工座席的回復效率，提升客戶滿意度。

另外，探索了多個企業內部大模型應用，提高內部辦公效率。在審計領域，針對日常數據分析探查需求，基于大模型的生成能力，覆蓋多個數據庫和數據表，輔助審計人員快速從自然語言轉換為結構化查詢語句，降低數據分析的門檻，提高數據探查的效率。同時，探索了基于LangChain和ChatGLM的知識檢索和知識問答通用平臺，從多種格式的文檔解析（文本、圖片、表格等），到考慮文檔分類目錄、標題層級上下文關系等要素的分片，再到向量化入庫，構建大規模向量知識庫，賦能多個應用場景和渠道，已經覆蓋運營管理、流動資金貸款制度問答等。在多模態方面，利用AIGC進行智能圖像生成和視覺設計輔助，用于設計圖片生成和概念的批量生成，提高設計效率和創意廣度，同時，支持圖像加工、圖像風格遷移和初步視頻生成。