導讀:在近期舉辦的“智能體重塑銀行業(yè):探索與挑戰(zhàn)”閉門研討會上,交通銀行測試中心總經(jīng)理孫莉分享了對于AI測試挑戰(zhàn)的思考,并介紹了交通銀行在AI測試方面的實踐。她提到,在多環(huán)節(jié)AI應用疊加的情況下可能帶來差錯的放大,不僅要考慮“人機協(xié)同”,未來還要探索如何“機機協(xié)同”。
孫莉 交通銀行測試中心總經(jīng)理
第一,銀行軟件測試面臨雙重挑戰(zhàn)。
一方面,數(shù)字化轉型深度提升、軟件系統(tǒng)規(guī)模激增,對軟件質量的要求也大幅提升,使得測試范圍從單一系統(tǒng)的功能測試,拓展至端到端完整鏈路測試以及性能、數(shù)據(jù)、體驗、安全等領域。與此同時,迭代速度要求更快、容錯度要求更低,這些構成了目前測試的現(xiàn)實挑戰(zhàn)。
另一方面,金融行業(yè)對測試結果的確定性要求高,而AI模型的準確率本質上是概率問題,概率模型與確定性需求之間存在可靠性的落差。在多環(huán)節(jié)AI應用疊加的情況下可能帶來差錯的放大,不僅要考慮“人機協(xié)同”,未來還要探索如何“機機協(xié)同”。此外,還要促使AI應用滿足公平、安全、向善的要求,解決數(shù)據(jù)偏差、歧視、不可解釋等問題。
第二,“AI測AI”的雙輪驅動思路。
其一是“測試的AI”,即如何用AI賦能軟件測試。去年,交通銀行開展人工智能訓練營,其中已落地測試評審、測試大綱、測試案例生成這三個助手。已落地助手的平均可接受率為30%-40%,對于需求結構化、標準化程度高的系統(tǒng)可達 70%。目前也探索打造了一批測試專用智能體,建設人機協(xié)同鏈路。
其二是“AI的測試”,即對AI的“確定性”進行評估驗證。具體而言,從建體系、定目標、建工具鏈三個方向推進。一是參考同業(yè)經(jīng)驗、相關標準和經(jīng)驗,聚焦AI特性建設測試體系,強化可測性;二是實施分層遞進的驗證策略,探索建立AI測試指標體系;三是逐步建設完善AI評測的工具鏈,建立模型迭代的反饋與監(jiān)控的閉環(huán)。
“金融科技50人論壇”成立八周年啦,特別感謝熱心讀者對我們的支持,我們建立了“金融科技·讀者微信群“,發(fā)布研究成果、促進交流合作、贈送金融科技圖書,歡迎您的參與。
入群方法:加群主為微信好友(微信號:serenazys),添加時備注個人姓名(實名認證)+單位+職務+入群,經(jīng)群主審核后,即可被邀請進群。歡迎讀者朋友多多留言與我們交流互動。
學術研究、會議合作和專題培訓聯(lián)系:
辦公電話:010-62561700
郵箱地址:songzeying@cft50.com.cn
金融科技50人論壇(CFT50):金融科技50人論壇(CFT50)成立于2017年4月22日,論壇近年來緊密圍繞金融科技理論、實踐與政策前沿,積極推動“政產學研用”交流與合作,逐漸建設成為在金融科技領域具有較高影響力的獨立學術平臺。論壇組織或參與出品《中國金融科技運行報告》《中小銀行金融科技發(fā)展研究報告》《數(shù)據(jù)要素:領導干部公開課》《綠色金融:助力碳達峰碳中和》《金融科技15講》《銀行業(yè)數(shù)字化轉型20講》等重要學術成果,與《金融理論探索》雜志合作開設數(shù)字金融學術專欄,普遍受到政策層、學界和業(yè)界人士的高度評價。2019年以來,論壇參與發(fā)起北京市東城區(qū)立鼎金融與發(fā)展研究院、廈門鷺江金融科技研究院等機構。