一、案例概述

農業(yè)銀行大模型ChatABC，對于大模型精調、提示工程、知識增強、檢索增強、人類(lèi)反饋的強化學(xué)習（RLHF） 等大模型相關(guān)新技術(shù)進(jìn)行了深入探索和綜合應用，結合農業(yè)銀行研發(fā)支持知識庫、內部問(wèn)答數據以及人工標注數據等金融知識進(jìn)行融合訓練調優(yōu)，實(shí)現了全方位的金融知識理解和智能問(wèn)答應用。

圖：ChatABC 1.0技術(shù)支撐及能力視圖

二、涵蓋事項

農業(yè)銀行AI研發(fā)團隊深入貫徹落實(shí)數字化轉型戰略，始終保持對于A(yíng)I新技術(shù)的跟蹤和探索，全面推進(jìn)全棧自主的人工智能服務(wù)平臺建設，持續探索構建適應AI大模型的算力、數據、模型、工具、應用五位一體的AI大模型創(chuàng )新應用體系，提升大模型試點(diǎn)應用的水平。

算力：構建云原生異構算力新基礎。基于容器化技術(shù)，推進(jìn)GPU、NPU等各類(lèi)AI芯片的統一封裝管理，實(shí)現異構芯片的統一納管。深度應用kubeflow等云原生編排技術(shù)，支持訓練任務(wù)的細粒度動(dòng)態(tài)調度，充分提升AI算力的利用效率。一體化的云原生算力基礎，實(shí)現對于多種算力的統一納管和調度，構成了AI大模型訓練的強大算力基礎。

數據：打通大模型持續迭代新閉環(huán)。圍繞“采建管用”閉環(huán)，構建大模型訓練和持續提升的基礎數據閉環(huán)。優(yōu)配比，合理調節內外部數據比例，清洗提升數據質(zhì)量。巧回收，巧妙設計用戶(hù)點(diǎn)贊點(diǎn)踩和用戶(hù)回答問(wèn)題的功能，采集人工用戶(hù)對于問(wèn)題的回答，作為模型持續優(yōu)化訓練的“燃料”。自強化，應用用戶(hù)打分數據，持續提升獎勵模型（Reward Model）精準度，依托強化學(xué)習使模型學(xué)會(huì )“左右手互博”。

模型：打造多模型融合開(kāi)放新生態(tài)。AI平臺采用開(kāi)放式的框架，通過(guò)組件化方法快速納入各類(lèi)開(kāi)源模型和商業(yè)模型。持續跟蹤開(kāi)源模型最新進(jìn)展，逐步構建適應問(wèn)答、文本向量化等不同場(chǎng)景的模型庫。參考HELM等模型評價(jià)體系，初步構建了一套適應金融特色的模型評價(jià)體系。

工具：鋪設模型流水線(xiàn)訓練新管道。依托kubeflow等基礎組件，AI平臺構建了多條AI大模型的訓練流水線(xiàn)。通過(guò)標準化流水線(xiàn)，AI大模型微調訓練可以實(shí)現自動(dòng)化流轉，構建新訓練的效率大幅提升。同時(shí)支持多模型并行訓練，進(jìn)而開(kāi)展模型實(shí)驗比對和模型調優(yōu)。深度應用DeepSpeed、FastTransformer等加速框架，解決模型并行、數據并行等訓練難題，提升AI大模型訓練推理效率。

應用：探索大模型知識融合新架構。構建異構知識庫，支持全文檢索、知識推理等各類(lèi)知識檢索場(chǎng)景需求。深度定制全文檢索框架，支持文檔類(lèi)知識的高性能精準檢索。依托知識圖譜技術(shù)，構建概念類(lèi)知識的圖譜，通過(guò)知識推理提升知識推理能力。打造基于置信度的模型知識問(wèn)答和知識庫檢索的評價(jià)體系，實(shí)現多源知識的無(wú)縫融合。

三、主要成效

ChatABC大模型已在智能問(wèn)答、智能客服、輔助編程、智能辦公、智能風(fēng)控等多個(gè)領(lǐng)域同步進(jìn)行試點(diǎn)。其中智能問(wèn)答場(chǎng)景已提供超過(guò)200萬(wàn)次問(wèn)答服務(wù)；輔助編碼場(chǎng)景支持代碼生成、單測生成、代碼翻譯等功能，已超過(guò)8萬(wàn)行代碼投入生產(chǎn)應用。

四、社會(huì )評價(jià)

中國農業(yè)銀行人工智能研發(fā)團隊秉持創(chuàng )新發(fā)展理念，主動(dòng)擁抱AI大模型前沿技術(shù)，以技術(shù)探索創(chuàng )新為牽引，以場(chǎng)景價(jià)值賦能為目標，推出金融行業(yè)首個(gè)自主創(chuàng )新的金融A(yíng)I大模型應用ChatABC。通過(guò)AI大模型的創(chuàng )新應用，持續提升農業(yè)銀行服務(wù)社會(huì )、服務(wù)經(jīng)濟、服務(wù)三農的水平。（中關(guān)村互聯(lián)網(wǎng)金融研究院）

分享讓更多人看到