发布于:2024-09-18 12:41:57 来源:智能制造 点击量:14次
一方面随着金融监督管理方式及监督管理要求逐步的提升,对银行数据能力提出了更高更细的要求,另一方面金融机构数据资产价值的发挥能力逐步成为金融机构竞争力的重要的条件,随着长沙银行数字化转型进程的不断深入,对标准化、高质量、高可信数据的需求越来越旺盛,数据治理的关键作用不断凸显,建设一个全行级、综合性的数据治理平台成为数据治理工作的必要环节。
通过数据资产管理平台项目的建设,主要实现“五化”目标,分别是数据字典管控流程化、数据标准实施自动化、数据质量管理可量化、元数据管理平台化、数据资产可视化。
1、数据字典管控流程化:加大对数据字典强管控力度,拉通开发治理一体化全链路管控,实现源系统及大数据平台数据字典全流程、透明化管控的目标。
2、数据标准实施自动化:制定全行业务标准、技术标准,建设系统新增变更的自动对标、审核流程,实现智能对标、自动落标,有标可依、有标必依、违标必究的目标。
3、数据质量管理可量化:强化质量规则布控和监测支持,实现监管数据、重点领域数据事前及事后管控;建设标准化数据质量上的问题管理流程和可视化数据质量看板,实现数据质量上的问题早发现、早处理、进度可见、整改可追溯的目标。
4、元数据管理平台化:建立元数据智能底座,实现元数据全面采集、准确解析、全局展示的目标,同时依托元数据实现数据的血缘溯源及影响分析的目标;
5、数据资产可视化:建立数据资产目录,搭建智能检索引擎,打造核心数据资产运营体系,实现数据资产可视化展示、对外提供智能检索服务的目标。
1、自顶而下,重塑数据治理架构。长沙银行对标国家金融监管总局数据治理与人民银行数据能力建设要求,重塑数据治理架构,成立了数据管理委员会,设置数据治理、技术管理两大专业办公室压实数据治理、数据架构等数据管理八大能力域建设职责和任务。
2、提升协同,建立五专机制。长沙银行探索形成了“五个专”的数据治理模式,强化高管层及各有关部门的参与度,提升数据治理效能。通过“专责”明确组织架构、“专流”统一问题流程管理、“专会”高位协同推动治理落地、“专邮”加强精细化管理、“专人”确保治理工作落实。
3、认责机制创新,合理分解数据质量责任。面对数据质量上的问题认责难,长沙银行建立数据认责和系统认责“双通道”模式,明确了交叉责任的认定机制,保障数据问题责任清晰、治理有力。
1、环环相扣,统一数据问题管理流程。长沙银行打出“四个组合拳”提升数据问题管理能力。一是标准化问题管理流程,全面实现数据质量上的问题从发现、责任定位到治理进度跟踪、结果验证全流程线上流转;二是规范化问题管理模式,简单问题直接流转,复杂问题集中决策;三是可视化问题解决进度,建设质量上的问题看板,实时监测整改进度;四是建设质量上的问题档案库,为全行数据质量上的问题治理提供可参考、可复制的治理经验。
2、因势利导,实现数据全链管控。长沙银行通过将数据治理环节嵌入数据字典设计、开发、测试上线流程,实现开发治理一体化全链路管控。事前建立标准并强化实施,事中发布元数据管理规范并构建标准化开发流程,事后进行质量持续监测评价。通过事前、事中、事后的全方位管控,提升数据管控效果。
长沙银行结合真实的情况,对数据标准对标、数据字典申报、血缘分析、数据质量监控模块,引入了前沿技术,提升使用者真实的体验,满足业务诉求。1)探索引入AI模型解决数据标准对标难、数据模型设计不准确等问题。通过引入BGE(BAAI General Embedding)模型生成文本语义向量,进行语义相似度计算,推荐最优对标,智能对标准确度提升至80%,大幅度节省数据对标人力投入,实现治理效率提升。通过引入BERT预训练模型,对大规模的语料库进行训练,智能判断物理模型字段是否码值类字段,判断准确率达到95%,有效地提升了项目经理数据模型设计的准确度。2)通过基于ANTLR技术的SQL解析技术,动态实时构建血缘关系。通过采集数据开发脚本并进行解析,打通数据加工的全链路血缘关系,为数据分析提供坚实基础。3)数据质量规则在关系型数据库、大数据平台中双落地。改变基于传统数据库的应用架构,实现与大数据平台的高效交互,满足大规模的数据检核应用,切实提高数据检核与数据分析的效率,降低生产运行的风险。
1、资产运营,探索数据价值释放。长沙银行建立核心资产数据资产盘点、登记、维护、服务闭环机制。目前依托平台实现核心报表、考核指标、外部数据、数据模型等资产自动化登记、实时更新维护、数据血缘分析等服务,打造核心数据资产运营体系,服务技术和业务用户,促进数据资产可见、可看、可懂。
2、以用促治,聚焦重点领域攻坚。长沙银行采用局部速赢与长期深耕有机结合的治理模式,在规范数据设计、开发全流程的同时,通过三个聚焦,提升治理实效。一是聚焦监督管理要求,持续优化监管基础数据质量,二是聚焦客户信息领域,通过源头管控、过程管控、质量评价,开展客户数据质量攻坚;三是聚焦重点项目、重点系统,抓住契机推进源头规范。
长沙银行数据资产管理平台通过三期建设,以全链管控为基石,以资产运营为目标,将元数据、数据质量、数据标准、数据资产四大核心板块有机结合,集开发、管控、知识服务于一体,形成了完整的闭环式数据治理生态。
系统当前包括八大功能板块:数据标准管理、数据字典管理、元数据管理、数据质量管理、数据资产管理、数据生命周期管理、客户数字看板、系统管理。
办公环境部署六类服务器:应用服务器、采集服务器、全文搜索服务器、数据库、Redis缓存服务器、OSS存储服务器,其中Redis缓存服务器、OSS存储服务器使用行内现有部署的集群。应用服务器提供数据管控功能,采集服务器提供源系统数据采集功能,全文检索服务器提供全文索引引擎供数据资产管理系统对应模块使用,数据库供数据资产管理系统和采集服务器使用。
平台技术架构分为三层,分别是数据存储层、应用层和展现层。数据存储时使用了传统的关系型数据库、全文检索引擎和文件服务器。应用层基于Spring BOOT技术结合使用了相关的解析引擎、流程控制引擎、调度引擎和全文检索引擎,并基于传统技术提供各种服务接口。展现层基于HTML5技术,使用了Angular JS框架,功能中使用了GoJS和EChart。
数据标准管理模块作为系统核心模块之一,主要为用户更好的提供数据标准检索、数据标准管理、数据标准审批、数据对标管理、标准分类管理、单词管理、数据元管理、码值管理等核心内容。一方面依托数据标准管理、数据标准审批功能建立了完整的数据标准新增、修改、删除的线上化管理流程,另一方将数据对标管理与数据字典申报流程相结合,建立了智能对标的管理流程。
数据字典管理主要为用户更好的提供数据字典申报(数据字典申报、数据字典设计、数据字典审批、数据字典上传)、数据字典查询、数据字典分析(差异分析、差异排除、排除审批)、数据字典变更通知、数据字典质量报告、数据字典自动接入等超25个子功能服务,涵盖数据开发、运维、分析、考核全部场景。
数据质量管理主要为用户更好的提供数据质量提升计划、数据质量检核规则管理、数据质量上的问题管理、数据质量报表等四大核心功能。支持通过用户提出、系统质量监测规则触发双模式发起数据质量上的问题流程,通过标准化数据治理问题管理流程,实现数据质量上的问题提出、分析、流转分发、整改进度跟踪全流程闭环管理,同时支持导入数据质量提升计划,看板化展示问题整改进展,解决了日常数据问题无处提、无人管、无人督等核心难点。通过对检核规则跑批架构的升级,该功能上限支持3W+的在线规则日间跑批与错误明细的检索和流转处理。
数据资产管理主要为用户更好的提供数据资产检索、数据资产登记、数据资产配置、我的资产个性化页面展示等功能,支持报表、指标、模型、外部数据等多类型数据资产盘点模板创建、盘点流程管理、内容审批管理,全面满足技术与业务用户数据资产管理与查询诉求。
长沙银行数据资产管理平台依托长沙银行数据治理体系的逐步完善,建设大致上可以分为三个阶段:
第一阶段(2020—2021年):该阶段是系统初期建设阶段。核心目标是为长沙银行打造一个全行级数据治理平台,初步实现元数据纳管、数据质量和数据标准管理等基本功能。同时开展试点,实现50套系统及当年新建12套系统数据字典纳管,规范数据字典变更申报流程,通过平台支持元数据纳管全流程。
第二阶段(2022年):该阶段主要依托于数据资产管理平台上数据标准、数据质量、元数据管控等流程的变革落地,同时完成数据质量模块的升级打造全行级的数据质量监测平台。
第三阶段(2023-至今):该阶段一方面探索数据资产建设,强调数据价值的持续发挥,通过建立全行级数据资产目录,明确各类资产盘点模板,实现数据资产的自动接入、分类展示。同时,构建智能推荐、资产打标、资产评论等用户交互运营体系,为用户更好的提供更快捷、准确、智能的资产检索服务。另一方面强调量化管理考核,通过开展数据标准实施效果的监测、元数据管理准确度的分析和数据质量看板的进度监测等,实现数据治理工作成果可视化,提升治理执行效能评估。
本项目自2020年8月完成招标,2021年12月上线余个定制化需求迭代优化,耗资500余万元。通过在数据门户引流、内部员工素质培训平台开设系统使用课程、业务部门进行专题培训宣导等多项措施,提升平台用户和场景覆盖度,截至当前,数据资产管理平台实现230+套系统的元数据、16万+张表、350万+字段、1600+业务标准、34000+技术标准,7800+质量规则、1000+业务报表、100+重点考核指标等数据资产的管理,承载数据质量上的问题管理流程600+个,元数据申报月均400+次,数据标准对标月均300+次。2023年全年登录用户1513个,业务总量11866120笔,峰值136061笔,每月平均登录用户超300人。
长沙银行通过构建了“一站式”数据治理平台,打造了闭环的数据治理生态,有效地推动了数据治理的开展,提升全行数据质量,推动业务持续向好发展。
(一)通过拉通开发治理一体化流程,实现了全行元数据统一管理,数据字典准确度提升至90%。基于数据资产管理平台建立了标准化、流程化的数据字典申报流程,打通数据开发平台、需求管理平台、运维管理平台、测试管理平台,同时引入Bert自然语言处理模型,实现数据模型从设计到投产的智能管控,数据字典准确度(表名、字段名、字段码值含义等)较原来提升30%。
(二)建立了数据标准线上化管理流程,引入人工智能大模型,对标准确率提升至95%,数据标准实施效率大幅度的提高。改变以往数据标准线下管理、线下跟踪实施的方式,管理效率提升30%。基于数据资产管理平台,依托智能算法和数据字典申报流程,存量系统对标准确率提升至95%,截至目前完成近90个系统数据标准实施,助力数据规范、共享。
(三)建立了数据资产目录与线上盘点流程,数据资产可见、可懂更可信,数据资产服务效率大幅度的提高。建立了全行级数据资产目录,实现了数据资产的自动接入、分类展示,构建智能推荐、资产打标、资产评论等用户交互运营体系,支持230+套系统元数据、16万+张表、350万+字段、1600+业务标准、1000+业务报表、100+重点考核指标等数据资产查询和智能推荐,服务技术和业务用户,促进数据资产可见、可看、可懂。
(四)聚焦业务痛难点,质量上的问题响应率、解决率双提升。长沙银行依托数据质量上的问题管理流程,2023年在财务、信贷、客户以及巴塞尔协议三(Basel III)四大领域实现了97%的质量上的问题响应率和78%的问题解决率,以问题导向,全行协同数据提质,为银行业务的健康发展提供了有力支撑。同时通过7000余条质量检核规则,实现自动调度,提升问题发现和监测效率,问题数据提取时间由2天转变为1小时。打造质量上的问题分发、流转、跟踪、解决的管控闭环,质量上的问题100%看板化,超30家总/分/支行数据治理专员以及信息技术部项目经理使用。
长沙银行数据资产管理平台集开发、管控、知识服务于一体,致力于打造开发治理一体化流程。在建设过程中,一方面作为管控平台,聚焦数据标准、数据质量、元数据管理本身的要求结合开发的实际现状,将管控措施和开发流程、开发工具进行有机融合,达到事前、事中、事后多层次的管理,有效落地管理措施。另一方面作为数据资产服务平台,主动靠拢业务部门,协同业务部门构建自己的数据资产管理体系,从报表指标等核心资产盘点入手,逐步拓展应用场景和用户,真正让数据资产看得见、看得懂、用得起来。
更多金融科技案例和金融数据智能优秀解决方案,请在数字金融创新知识服务平台-金科创新社案例库、选型库查看。