徐民：远比ChatGPT之前很多年，工行就已持续跟踪大模型技术
专题：第21届中国国际金融论坛
第21届中国国际金融论坛于2024年12月19日-20日在上海召开。中国工商银行软件开发中心总经理助理徐民出席并演讲。
以下为演讲实录：
徐民：尊敬的来宾朋友，大家好，我是工行软件开发中心徐明，今天也非常荣幸，第二次来参加这个主题论坛，今天和大家一起共同探讨交流，今天我分享的内容主要是工商银行大模型的一个建设和应用实践。
人工智能现在可以说是非常热，国家也是高度重视人工智能的一个发展，要求从各个方面的一些基础能力都要全方位的提升，并且这个要加快在各行各业的一个赋能应用，也是提出了这个数字经济的一个创新发展来加快发展新质生产力。应该说也是标志着人工智能已经上升为国家战略，政府工作报告这个也明确提出了人工智能加这么一个口号。
人工智能应该说在1956年就是由达特茅斯会议上就首次被提出来，经过这么多年的一个演进和发展，应该说一直到2022年ChatGPT的出现应该说让人工智能迎来了新的时刻，超大的规模的算力，超大规模的数据，超大规模的算法和超大规模一个电力的一些投入，正在加速推进人工智能的一个技术的一些成熟，大模型的一些技术的成熟，也在推进通用人工智能技术的一个发展，EGI的一个时代应该说已经真的到来了，大模型也成了近些年来人工智能最具有突破性的一个核心技术，可以说我们真正迈向了AI 2.0的一个智慧金融的新时代。
工行应该说其实跟大模型的技术其实跟得非常早，远比ChatGPT出来之前很多年我们就持续地跟踪这方面的一个技术，在过程当中也在一直在研究和探索，其实也做了一些很多的尝试。随着这两年的一个大模型的成熟，我们把大模型作为了最重要的一个技术创新点，着力地来推进金融领域的一个应用落地。以往我们的一些技术创新的模式一般是先孵化，取得一些成效了以后，再进行一些规模化的推广和应用。
在大模型出来的那个时候，我们就意识到真正是未来发展的一个方向，所以我们从一开始建设的时候，我们以规模化应用企业级应用为目标来进行建设和演进的。我们整个的一个方式是可以说是三个支柱，“1+N”的范式能力两全平台以及一个人工智能+金融生态，三根支柱主要是算力、模型和数据。在这个基础上构建了“1+N”范式的能力，两全平台主要是一个研发能力和安全的能力，以及上层的一个全域的生态的总体的这么一个建设思路，也是建成了基建算力、算法、数据工具能力、安全应用、生态于一体的一个企业级千亿大模型的一个技术体系，内外协同赋能来真正打造人工智能加金融的一个新生态。
首先介绍三个基础能力，第一个就是算力，这个其实是基础，这个也是非常重要的，而且大模型对算力的需求远比以前的人工智能的小模型要大得多，不管是从训练也好，还是从推理也好，工行建成了异构融合得这么 AI的一个算力底座，也是有三个主要的一个特点，那一个是算力的集群规模，我们现在可以说是同业最大的，我们现在已经达到了1.2eFLops，也是有效支撑了模型的训练和推理的使用。
第二个是我们打造了云智融合的这么一个智能底座，也是云化的方式进行算力的供给和调配，我们可以做到算力的在分钟级进行一个弹性的分配和调度。
第三个是我们基础底座完全是全面兼容业内领先的各式各样的一个大模型的能力，适配整个一个大模型的技术生态，因为现在大模型也确实比较多百花齐放。这边写的叫百模千态，不管是开源的商用的确实非常多，我们通过底座的能力也可以有效应对大模型技术的快速的变化。
第二个是在模型能力方面，工行采取了多种的路线并行的一个方式，来建成多模态多能力大小模型协同融合的一个千亿级金融大模型的一个算法矩阵，我们已经形成了一个矩阵。这个算法矩阵我们有特三个特点，第一个就是我们分层模型的一个供给能力，我们整个模型这个层次分为五层，最下面的就是基础大模型其实是最通用的，大部分能力其实主要是集成了业内的一些能力。第二层是面向于金融行业的行业大模型这个方面我们做了非常多的一些工作。第三层是适配我们工行自己使用的自己业务要求的企业的大模型，最上面两层是我们这个领域的大模型和各类任务的一个大模型，这个模型能力本身我们是分层来进行打造的。
第二个是我们整个体系的智能化的择优调度能力，我们整个体系会根据模型的不同层次的差异，不同模型之间的能力的差异，以及具体场景的业务的一些需要和需求，来实现一些不同参数不同能力模型的一些择优的选择和调度，来满足金融业务场景复杂多样化的一个需求，这个我们是自动调度的，这个不是靠人来选的，因为下面的底层能力非常复杂。
第三个是我们经过我们的一个打造，我们现在大模型，特别是在行业的认知能力上现在是非常强的。我们举个例子来说，我们的一些像银行从业人员资格认证，资产经济师的一些考试，我们内部的各种业务人员的资格认证，我们全都通过了，大模型完全是通过的。
构建上面说的这些模型算法的矩阵，其实保证大模型的一个训练质量就成为重中之重的一个内容，因为我们在大模型的工作上起步也比较早，投入也比较大，所以这些方面我工作做的基础工作做得比较多一些。
这个里面其实关键就在于数据，这个数据和我们传统意义上说的数据中台的我们那种海量数据（维权）是不同的，我们这个数据是用于训练大模型用的一个数据，我们工行打造一套适配大模型的金融的一个支持工程，和我们大模型，刚才说的5层体系相对应的，我们建设了5层的一个支持知识的体系，构建出了一个质量优覆盖广的万亿Token金融知识数据集，目前这方面的数据体量已经达到了1.4个T。
同时因为知识的内容有非常多的工作要去做，我们也是配套打造了一个基于这个规则和模型的金融知识工程的一个智能化流水线，能力也是覆盖了我们的信息的采集清洗管理到使用的各个环节，来减少我们以往支持数据处理过程当中这种人工审核等这些很繁杂以及复杂的处理工作，构建了知识的这样一种高效运营的一个新的模式，整个数据的一个产生处理的效率，我们估算了一下较传统的这种我们的处理模式提升了大概10倍。
在安全方面应该说大模型的确是有一些挑战，包括一些虚假数据科技伦理等一些风险的挑战。为了保证大模型的一些安全应用，我们也是全方位地加强了大模型全域的安全加固，建立了我们人工智能全域的一个守护的安全能力。
我们主要是建立了五道防线，来确保人工智能应用的一个安全可控。
首先构建的是基础设施的一个安全，然后在这个基础上是积木的安全，积木的安全我们主要是通过引入网信办已经备案的一些大模型，同时我们自己构建了1万多的金融安全专项测试集，来开展一些大模型机模的一些测评和准入。在一些数据安全上，我们前面说的大量的这些构建的一些数据，有一些我们确实是引入的一些数据，相关的一些数据也都是权威可信的。
同时，我们还构建了20多万的敏感词的词库，对数据内容进行校验和脱敏。在实际应用的模型安全方面，我们基于10多万的正向的价值观数据来做人类反馈的强化学习训练，来提升模型的安全能力。
最后是应用的安全，我们也是构建了敏感信息拦截等这一系列的能力，应该说通过5层的能力来全面保障大模型以及人工智能的整体的安全。
前面介绍的这些都是一些基础能力，最后关键还是要落实到应用上，工行为了大规模企业级的进行场景应用，我们体系性的总结提炼，并建设了适合金融行业的“1+N”的一个企业级的工程化解决方案。
首先介绍“1+N”“1”是指我们打造的一个金融智能中枢，也是在前面这些技术能力的基础上来打造的。通过智能中枢的感知决策、执行反馈等这些能力，可以非常好地来支撑和实现我们金融场景一些非常复杂的场景的应用。
“N”是指我们一些共享可复用的范式能力，这个范式其实不光是建设的一个方法，而是我们建设了配套的即插即用的0代码工程化的解决能力。我们那些场景应用人员在已有的范式范围内，可以很方便地进行场景的构建，通过一些拖拉拽选择等都不需要开发，就能完成大模型场景的一些构建。
为了确保大模型应用地从繁到简，从规模化的有序推进，我们也是通过体系运作方法论来推动业务和技术的双向融合，来实现大模型端对端的赋能，这个里面主要是两方面。
第一，我们形成了“两届六步”的方法论，主要是和业务融合去进行融合创新赋能的。
第二个我们形成了一个“3-1-X”的一个方法论，来提炼上面提到的我们这种范式能力，进而实现规模化的领域和场景的一个推广。
目前我们已经规模化推广的业务领域就有20多个，170多个应用场景，有一些小范围的尝试的，比如说像一些分行一个分行，他自己尝试的这种场景，都已经达到几十个，都是通过我们这样能力快速地可以构建完成。特别是有很多一些比较基层的业务人员都可以完成一些构建，完全不需要技术力量的一个开发这么一个情况。
另外其实数字化的工作，我相信大家其实做得也比较多，工行其实也做了非常多年的一些建设，经过这些年的不断的数字化的能力建设，包括大数据的能力，包括数字化运营，包括人工智能的一些能力，应该说我们综合应用这种大数据人工智能的一些技术手段，已经积累了大量的高价值的这种数据服务，智能模型服务系统功能，包括像一些营销推荐、影像识别、风控等这些以往的能力。
目前我们通过我们金融智能中枢能力的这么一个打造，真正实现了可以采取这种积木组装的一个方式，快速地构建智能体，将原来我们已经完成研发构建的各类的大模型小模型、数据服务、智能模型服务、数据产品系统功能完全都可以串接起来，并且进行灵活调度，规模化打造了各类的业务助手串接，这些工作我前面就说就完全可以通过业务自己来完成。
下面我再介绍两个工行前期的大模型的一些应用。
第一个是远程银行领域，聚焦对客服务非常重要，然后我们人数也非常多的远程客服的一个座席，我们基于大模型的一个能力，从事前事中事后全流程的来赋能业务的一个场景，来打造更高效更有温度的一个服务能力。当前已经覆盖了全行所有的远程客服，实现了全面的一个赋能，事前可以辅助进行一些知识库的维护这些工作。
材料当中的这块其实是效果比较明显的，主要是适中的方面，客户电话打到我们9588，以后我们大模型实时的同步的根据通话客户反映的通话的内容，实时的就可以给我们座席人员给出针对客户问题的解答，客服就可以快速地答复客户的问题。
目前我们大模型回答的准确率已经超过97%，对于需要事后处理的问题，大模型我可以快速地形成这种工单进行各个环节的一个流转。通过这样的方式，可以说大幅提升了我们座席人员的服务能力，服务水平、标准化水平以及服务效率，同时也提升了我们客户的满意度。事后同时还可以通过一些大模型来对客服的服务情况进行一些精细化的质检。
第二个介绍的是我们金融市场领域，我们也是通过智能体来重塑了业务模式，围绕投资研判、交易执行程序、管理、风险监测，端对端的流程来依托大模型，打造了我们的投研的助手，交易的助手，业务的管理助手。通过对话的方式，为金融市场各个角色的用户提供了全方位的一个智能服务，对客户交易的效率显著提升。
其中材料当中提到的也是当中这块就交易助手这一块，我们打造了一个明星产品，在交易过程当中可以对客户进行快速的资质审查，包括洗钱风险企业规模信用评级，以往已经建设的这些能力，进而自动生成交易的单子来自动流转，各个环节来做审核交易报价等，完全智能化自动化的来做到这些事情，实现结售汇、外汇等这种询价交易，对客交易的效率的大幅提升超过三倍。
前面说了这么多，大家也可以看到整个大模型的一些建设，应该说还是如果要产生规模化效益的话，其实整个投入量还是非常大的，其实牵涉的内容也非常多，所以其实我们也非常希望和大家一道携起手来共同建设，工商银行也积极推进金融大模型生态圈的一个建设，一个是打造走出去和请进来双人驱动的这么一个人工智能加金融创新的生态圈，帮助金融同业企业朋友培育和发展大模型的新质生产力，我们很欢迎大家如果有需要也可以用我们那个能力我完全不排斥。
第二个是积极地以工行大模型的应用实践为基础，充分发挥工商银行金融的一个数据，算力、场景等这些方面的一个优势，来推动金融行业的共享共建，来提升大模型整体的一个应用水平，带动金融AI产业生态的一个发展。
最后我想对未来的一些发展，我觉得大模型在金融方面金融行业的一些应用，我想还是有一些内容去演进的。
首先我觉得还是算力，虽然前面说了这么多，但是在算力确实是大模型的一个基础，我们需要继续加大算力供给的一个投入，或者说更多的这种使用和合作的这种方式，为大模型在金融行业的广泛应用奠定良好的一个基础。
第二个其实是一个模型基础，这里写的金融知识数据积累其实是模型基础能力，这里金融基础数据的一个数量和质量，其实是决定了金融行业建设大模型一个能力，性能、准确性等这些方面很基础的一个关键，这里我们需要更好地去收集金融知识的一个数据，构建高质量金融训练数据集，为行业大模型构建提供良好的一个数据支撑。当然这个基础能力上面还有一些多模态等这些能力的一些演进。
还有一方面大模型，我觉得在金融领域的一个深度应用，目前大家更多的还是侧重于实现一些智能助手等这些业务辅助的功能，还是更多是一些文科生的领域，未来我觉得随着大模型技术更进一步的发展和成熟，我们需要推动大模型在金融行业的一个深度应用，特别是实现从模型辅助像智能的决策的一个变革，这个里面我觉得还是要做一些工作，为整个金融行业带来更大的一个商业价值。
我相信大模型为基础的人工智能2.0的能力一定可以有效重塑业务的行为，推动金融行业更高质量的一个发展。上下面这些内容都是我们的一些思考和实践可能还不太成熟，欢迎大家批评指正，谢谢大家。
新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。
