作者：中國工商銀行軟件開發中心高級專家 劉承巖

情感計算顧名思義是對情感的感知、理解和表達，是融合計算機科學、心理學等多個領域的綜合性研究，對于提升計算機的理解和表達能力有著重要意義。相關研究表明，多模態是未來數據形式和人工智能技術發展的大趨勢，在表情、語音、姿態、語義等多元信息互補的激勵下，能夠更加準確地識別情感目標。隨著銀行數字化轉型進程推進，如何不斷提升服務水平、防控金融風險，一直是銀行業共同探索的問題。多模態情感計算的發展與應用，將成為解決上述問題的一大利器。

一、多模態情感計算發展現狀及趨勢

多模態情感計算主要專注于信息之間的融合與交互，根據融合策略不同，有決策級融合與特征級融合兩種主要技術路徑。決策級融合即對單獨學習好的各模態信息進行直接融合，最簡單的方法是分別實現微表情識別、語音情感識別與文本情感識別，再對識別結果進行簡單加權。特征級融合是在單個模態學習過程加入模態之間的交互，動態補充模態中缺少的信息。

目前決策級融合在業界應用相對成熟，實現難度低，效果基本滿足預期。特征級融合對于模態的信息學習更充分，準確率相較決策級融合有較大提升，但目前暫未有相關軟件產品，仍處于學術研究階段。

隨著多模態大模型技術日趨火熱，運用大模型執行情感計算任務也成為當下的研究熱點，其解決方案為通過自監督的方式對海量無標注數據進行學習，再面向特定場景進行少量數據的標注學習及微調。多模態大模型對數據依賴較低，泛化能力強，還可以與視覺大模型、語言大模型等其他模型相結合，例如在當下最熱門的GPT模型融入情感計算，使該模型在理解和表達上更加人性化，在視覺大模型中加入情感識別則可以在風控、安防等領域發揮積極作用。然而，現階段大模型也存在一定短板，如對前期訓練成本和算力要求非常高，模型龐大的體量也會影響其拓展性與應用的靈活性，部署難度加大等。

目前在金融行業，也有多家銀行積極布局基于微表情、自然語言的單模態情緒識別或決策級多模態情緒識別產品，主要應用方向為服務質量評價及遠程面審反欺詐，隨著多模態情感計算日趨成熟，未來將在銀行業更多場景發揮作用。

二、在銀行業的應用前景

1.多模態情感計算運用不同數據源可賦能不同類型業務。從服務渠道來說，不同于目前相對成熟的文本情感識別與微表情情感識別，多模態情感計算可通過不同模態之間的組合靈活適配音視頻通話、電話語音與文字交互等需求，擺脫對某一固定服務類型的限制。此外，音視頻服務常常受到網絡波動影響出現畫面不穩定，導致缺少關鍵幀無法識別情感的狀況，多模態情感計算對語音與語義的融合分析能夠較好地維持情感識別的穩定性。

從交互方式來說，多模態情感計算可融入人人交互、人機交互，以及在元宇宙等虛擬空間的虛擬身份間交互。及時感知客戶情感反饋對銀行提升服務體驗至關重要，當前各家銀行都在大力發展7×24小時智能自助服務，由于缺少服務人員人工介入，更需要依賴人工智能系統了解客戶滿意度，及時發現系統存在的不足并改進。

2.多模態情感計算輔助判斷客戶真實意圖。無論是對業務辦理過程中表現出的正面與負面情緒，或是在審核、調查等過程中出現的明顯情緒波動，通過融合心理學上的情感映射，都可以一定程度展現客戶當前的真實意圖，從而為服務人員或審核人員的決策提供參考。真實意圖判斷在對客營銷、服務評價、盡職調查、催收、反欺詐等領域能夠發揮重要作用。結合客戶畫像，在業務環節運用多模態情感計算對客戶的意圖、行為等進行預測，可實現精準營銷、個性化定制化服務，同時為金融安全保駕護航。

3.基于多模態情感計算的情感生成。隨著金融數字化轉型深入推進，商業銀行均在積極布局各種形態的智能服務，包含智能文字客服、智能外呼、數字人等。無論在文本生成、語音合成還是數字人交互過程中，有情感有溫度的回應將會給用戶帶來更優質的服務體驗。除了及時應對客戶當前的情緒波動提供對應的安撫或激勵外，還可以結合客戶畫像特征實現不同的情感表達。例如面對老人、兒童、不同性別的客戶，采取不同的數字人形象與講話方式，或是參考客戶聊天習慣，創建與客戶“更聊得來”的智能客服。

三、在銀行業的典型應用案例

基于以上對多模態情感計算特點的分析，可以看出情感計算在銀行業各領域大有可為?，F如今銀行業正不斷擴充服務邊界，多模態情感計算適用于網點、音視頻、自助服務等各類服務渠道，在內部人員管理、精準營銷、風險防控等領域擁有豐富的創新應用場景?，F階段，銀行業可以考慮在傳統業務中融合情感計算，實現客戶滿意度調研、輔助風控等。未來，隨著新技術的不斷發展成熟，可開拓新一代銀行服務模式，例如基于大模型多輪對話+情感計算的AI智能服務、元宇宙+情感計算的多元交互等。在此具體分析情感計算應用的幾個典型案，供銀行同業交流參考。

1.多模態情感計算實現對音視頻、電話、線下等渠道的人工服務監督評價。在服務過程中感知到客戶出現憤怒等負面情緒時，及時通知主管人員介入處理，或實時監測銀行服務人員的異常情緒，監督規避違規操作，降低糾紛。在服務完成后，多模態情感計算替代客戶對服務打分評價，減少客戶操作，獲取較為真實的客戶反饋。在事后質檢中加入情感質檢，實現對內部人員管理考核，提升服務合規水平。

2.多模態情感計算輔助銀行人工智能系統改進提升。當前手機銀行服務配置有語音搜索、語音指令控制等功能，以方便老年人群等客戶操作。通過判斷是否重復多次發出語音指令，以及語音中是否帶有負面情緒，幫助銀行了解客戶使用系統的便捷度，并加以改進。在智能文字客服、智能語音外呼及數字人等自助服務過程中，客戶在文字、語音中出現的異常情緒也為銀行智能服務的改進提升提供依據。

3.多模態情感計算助力金融業務反欺詐。在信貸面審、信用卡盡職調查等場景，結合特定話術、問題等，捕捉情緒異常波動，為客戶經理判斷客戶是否存在隱瞞、欺詐風險提供參考。在轉賬匯款等業務辦理過程中，判斷客戶特別是老年客戶群體是否存在緊張、恐懼等情緒，結合視頻智能分析等技術，例如操作過程中是否有人代操作、或邊打電話邊操作等動作，及時阻止可能出現的詐騙案件。

4.多模態情感計算實現對客服、催收等高流動性崗位人員的智能培訓及測評。通過軟件模擬不同業務場景下的客戶訴求，由參訓人員進行應答，在應答過程中檢測其情緒是否符合崗位要求。受訓人員可自行反復多次訓練，也可以通過該方式開展培訓結業考試等。用自動化訓練替代傳統人工培訓中需要依賴導師的重復性訓練，大幅節約師資成本與人力資源。

四、多模態情感計算應用展望與建議

多模態情感計算對銀行業提升服務質量與安全性有著廣泛的應用前景，在對客服務、運營管理、產品營銷、風險防控等領域都能夠發揮重要作用，還能夠與元宇宙、智能網點、數字人等新興技術相結合，實現智能服務提升，但該技術在發展與推廣過程中仍面臨一定挑戰。

一是目前仍缺少充足且準確的標注數據，尤其是銀行業務種類繁多，不同的業務類型具有不同的情緒傾向和話術特征，因此每適配一個新的場景都需要投入大量的人力資源進行數據標注與訓練，且人工標注暫時還沒有統一的方法和標準可以驗證其標注準確性，會導致實際應用中識別準確率不達預期。二是心理學領域關于情緒和意圖的研究仍處于發展階段，情緒與意圖之間并非簡單的一對一映射，即使捕捉到人的情緒異常，仍不能保證了解其真實意圖。三是情感計算涉及客戶視頻資料的獲取和分析，在個人隱私保護要求日益嚴格的大環境下，如何在保護客戶權益的前提下合理運用情感計算技術，也是銀行業急需思考的問題。

因此，現階段銀行在應用多模態

情感計算時，建議先在小范圍開展試點，通過充足的脫敏標注數據進行模型調優，定期對算法模型進行升級和優化。在試點過程中，還要注意客戶信息采集告知授權、數據傳輸與存儲過程加密、算法模型的私有化部署等，保證客戶信息安全。此外，銀行業還要加強與頭部企業、高校等機構在計算機領域與心理學領域的合作，持續關注國內外業界與學界的最新技術發展。

本文來源：微信公眾號《金融電子化》

免責聲明：所載內容來源互聯網、微信公眾號等公開渠道，我們對文中觀點保持中立，僅供參考、交流等非商業目的。轉載的稿件版權歸原作者和機構所有，如有侵權，請聯系我們刪除。