您的位置:  首页 > 技术杂谈 > 正文

基金公司数据治理实践,打造“点线面体”的数据治理体系

2023-08-11 12:01 https://my.oschina.net/u/3869098/blog/10094584 袋鼠云数栈 次阅读 条评论

在数字经济时代下,数据驱动业务创新发展已经成为企业的主要选择,基金行业机构也在积极推进数字化转型,但机遇与挑战并存。数据要转化为数据要素,需要系统体系化的数据能力建设作为催化剂。

基金行业也表现出一定的痛点,其中表现为数据安全保护不够到位,缺少数据脉络,数据质量得不到保障等。同时由于行业内在进行系统建设时,对数据管理工作的重要性认识不足以及长年累月杂乱数据的堆积,导致数据治理工作推进艰难,致使在营销端、分析端、监管报送端长期存在客户重复,资产异常等情况。

在公司“十四五”数字化发展规划的指导下,基金公司坚持统筹推进、聚焦痛点,强化数据能力建设,在完善数据治理体系、搭建大数据技术、提升数据服务能力等方面持续发力,多措并举逐步探索形成了符合基金自身特色的数据能力建设治理之路。

基金公司数据治理解决方案

围绕监管规范打造基金行业数据治理体系

一是完善治理组织:建立完善的数据治理组织架构,落实组织在治理工作中的责任与职能,配套数据治理相关制度,推进数据治理工作落实。

二是打造资产体系:梳理全域业务数据明确各项属性义,通过资产目录形式分类管理,实现数据可见、可用、可管理,全面量化数据价值。

三是提升数据质量:根据金融监管相关规范,制定数据标准以及数据检验相关规范,通过数据标准化的形式提升数据质量,提高数据可用性。

四是加强数据安全:围绕数据安全相关政策法规构建安全体系,充分考虑数据之间关联关系,通过分级、加密等手段进行全链路安全管理

五是主数据统一:借助基金全要素规范整理公司级主数据体系,确保基金基础业务信息全范围内保持一致性、准确性、完整性、可控性。

file

基于资管全要素规范实现基金主数据管理

主数据是用来描述基金核心业务实体的数据,主数据管理要做的就是从公司的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用,包括各个业务系统、业务流程和决策支持系统等。

主数据的完整性、准确性决定了企业数据共享、直通与应用的能力,基金行业的主数据主体上分为:客户主数据、证券主数据、产品主数据。不同来源客户信息整合的优先级是客户主数据治理的重点;选择数据质量最优的服务商为主,结合其他数据源进行交叉验证是证券主数据的治理重点;确定各产品要素属主,谁生产数据谁负责质量,属主制定质量标准、系统严控准入是产品主数据的治理重点。

证监会、人行、基金业协会三大报送主体的监管报送数据具备维度多、标准清晰、数据质量要求高等特点。通过构建相关主数据,为反洗钱、征信、利率等多监管要求提供了一道坚强的防线。

file

基于元数据打造企业级数据资产中心

接入基金公司的数据仓库、各个业务系统库,采集库表元数据,获取数据使用的元数据信息;然后在采集的基础上,进行二次规范维护,补充缺失的业务元数据,汇总后提供元数据查询分析服务

制定基金公司数据标准,通过标准的映射比对,发现并修改存量不符合标准的数据。再通过数据模型的规范化建表和建模,让增量数据落地即是标准的。通过自动解析的数据血缘关系,可以辅助技术与业务人员发现数据流转关系、数据影响链路,合理订阅并维护用户关注的数据。

file

围绕基金业务构建全维度画像体系

近些年,随着投资者对专业资产管理的需求日趋旺盛,资产管理行业的竞争也在加剧,这迫使基金公司着重于投资者教育和陪伴工作。基金公司的数字化营销能力也逐渐成为企业关键竞争力,但建设过程主要存在以下难点:

一是基础弱,由于公募基金存量客户庞大,而公募基金销售长期依托代销渠道和互联网渠道,客户数据分散、多端身份不统一,导致基金公司对自身客户的理解能力比较有限,缺少对投资者需求变化和行为变化有效研究手段。

二是难匹配,透过大量问卷和数据分析发现,不同人群、不同需求的投资者,对产品要求和收益目标等有明显的差异,操作行为也有明显的不同。这就要求基金公司具备有效客户分层识别能力,产品推荐的精细化能力,投教内容差异化能力,进而提升投资者投资体验。但由于营销系统的闭环能力较弱,很难了解基金产品是否满足了用户的需求,改善了投资体验。

三是应用浅,在指标不科学、无体系,数据分析深度不够,缺乏业务洞察和建议等问题面前,很多企业止步在有数据和看数据阶段,并未将数据分析与营销业务结合起来,提出有意义的洞察和建议。

通过袋鼠云客户数据洞察平台,建立涉及客户、产品、渠道的三层标签体系,支持销售、服务、合规等不同角度的需求,支持便捷的标签开发、运算、展示和输出等全生命周期管理,持续输出数据价值,支持客户个体及群组画像、客户群圈选和对比,支持快速推广、智能营销、精准服务,细粒度的标签权限管理和高效稳定的标签展示和输出,确保安全且高效的业务开展,积木式的组件标签搭建和复用,可快速支持例行、临时或专题性的数据分析

file

基金公司数据治理建设成果

数据管理方面

考虑到数据治理是一个公司数据知识、文化沉淀的长期过程,经过综合对比评估之后,基金公司结合自身组织架构及数据情况,以信息技术治理委员会作为数据治理的领导组织,以自有人员组成的数据治理小组为数据治理及落地平台建设的推进组织,推进数据治理相关制度发布和治理落地。

在制度上,先后发布了《数据管理办法》《数据分类分级指引原则》等制度规范。在平台落地建设上,以数字资产管理平台作为数据治理的落地支撑平台,实现了数据标准管理、主数据管理、元数据管理、数据变更管理、数字资产盘点、数据质量管理、数据分类分级、数据血缘分析等管理功能,将数据治理与开发设计过程紧密结合,形成数据模型变更设计、评审、事后审计、定期量化评分的管理闭环,以数据治理为抓手,保障数据完整性、准确性、一致性,从而形成数据质量提升的长效机制。

公司按照“点线面体”的方法推进数据治理落地,从数据源头系统开始全面治理,撇弃“头痛医头、脚痛医脚”临时解决方案。点是对点状的自研业务系统逐个治理,线是推进系统间数据及流程互通,面是结合大平台化系统建设思路,以业务支撑基本面全局视角去完善治理体系,体是最终构建起数据共享、互联的高质量数据体系。

当前数字资产管理平台已覆盖40个系统,且对于新增或重构的系统已实现数据标准覆盖率95%以上。

中台能力方面

中台能力是公司内部共享资源所能提供业务、技术、数据能力水平的综合体现。基金公司业务相对比较稳定,构建稳定中台能力契合基金公司的需求,加强中台共享能力建设,沉淀业务及服务能力,将是未来的核心竞争力。

公司将业务能力、技术能力、数据能力以技术视角映射成了业务中台、技术中台、数据中台3大中台技术能力,通过三者紧密协同合作,对业务运营进行全面赋能。

一是业务中台:当前为百万+客户提供基金销售服务。为提升系统交付速度和交付质量、更好地为客户提供精准贴心服务,公司对数据治理平台承载的所有服务进行梳理、抽象,采用容器 + 微服务技术架构,根据业务域进行服务细化、拆分,逐步沉淀营销服务、投顾服务等中台服务能力,减少系统重复功能建设和维护带来的资源浪费。同时,在获得客户授权前提下,历史交易行为、个人资产分布情况、投资风险偏好等信息,运用技术中台提供的大数据AI算法能力,为不同偏好及投资风格的客户提供历史盈亏分析,交易行为诊断,定投策略建议等个性化服务。

采用微服务 + 微前端的技术架构,对TA、估值、资金清算等中后台运营支撑系统中的运营管理服务进行归集整合,实现登记结算部门日常工作(如:任务分配、团队协作、分红事项跟进等)集中式、标准化统一管理,通过沉淀的运营管理类数据资产,结合运营管理大屏可视化展示,让运营管理工作变得更加直观、高效,以数据驱动运营提效,有效规避日常运营工作中的风险及问题。

二是技术中台:为统一开发技术栈,避免各系统建设过程中在公共技术工具上重复“造轮子”,部门成立了技术中台小组,专门负责公共服务能力沉淀及建设、新技术引入、架构评审等工作,通过标准化通用能力的输出,为各业务系统建设赋能,其中主要包括应用技术赋能和AI算法赋能。

当前技术中台已发布消息投递服务、统一用印服务、统一数据网关、服务注册中心、工作流引擎等公共技术服务,以及NLP、机器学习相关算法、智能机器人等AI智能服务,这些服务已被广泛应用于产品管理系统、投研一体化、智能客服、协同办公平台等多个下游业务系统中。

三是数据中台:公司基于Hadoop技术生态体系,采用湖仓一体的数据技术架构,构建了公司级的数据湖和数据仓库,根据数据治理制定的相关数据标准规范,按主题对业务数据进行统一清洗、整合。同时,为了保障数据出口的一致性,提升数据存储、消费安全,公司基于数仓清洗整合后的标准数据,采用微服务架构,实现了数据服务接口开发、测试、验证、发布、授权、下线全生命周期在线管理,以在线数据服务接口方式为多种数据消费场景进行数据赋能。

此外,借助数据治理对各类指标进行梳理定标,明确指标的定义及统计口径,构建全局的指标体系,统一数据出口标准,实现“数出一孔”,避免不同数据消费场景“数据打架”的问题。

《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm 想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szkyzg

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack

展开阅读全文
  • 0
    感动
  • 0
    路过
  • 0
    高兴
  • 0
    难过
  • 0
    搞笑
  • 0
    无聊
  • 0
    愤怒
  • 0
    同情
热度排行
友情链接