当前位置:首页 » 《随便一记》 » 正文

突破一:迁移时间短。从2020年9月到2021年9月,仅用时一年即完成迁移, 而传统金融机构还没有实现过如此大规模的核心系统全量迁移。

14 人参与  2022年08月03日 10:06  分类 : 《随便一记》  评论

点击全文阅读


刘伟光,阿里巴巴集团副总裁、阿里云智能新金融&互联网事业部总经理。


一、前言


在国家层面提出加快建设科技强国,实现高水平科技自立自强的大背景之下,某超大型保险(集团)公司深入推进数字化转型,紧随先锋技术发展趋势,前瞻性布局启动IT架构分布式改造转型,并于21年9月圆满实现了最后一个规模高达20TB+核心数据库的全面迁移改造工作,也为后续向云原生多活架构演进打下了坚实的基础。该数据库国产迁移项目成功上线,树立了金融行业践行科技强国的标杆实践,也是对国家科技自立自强战略以及国产技术的履责担当;更推动了整个国内数据库管理与应用体系科技生态建设和科技产业链的快速成熟。


对于保险行业而言,短时业务并发压力虽没有互联网企业那么大,但是在业务复杂性和对数据库专有特性的依赖程度上,都要远大于互联网企业。保险业务的处理更为复杂,单一业务要多个系统完成,调用链比银行和互联网业务更长、更复杂,确保复杂集合大交易量的稳定是保险业务数据库国产的挑战。由于金融机构对业务连续性和数据准确性的严苛要求,在传统头部金融机构中始终没能有一家完成国产数据库全面迁移,直到这家保险公司成功实施,并取得了五个突破。


1)突破一:迁移时间短。从2020年9月到2021年9月,仅用时一年即完成迁移, 而传统金融机构还没有实现过如此大规模的核心系统全量迁移。


2)突破二:迁移规模破纪录。一年内完成了包括传统核心、互联网核心、个险销售、团险销售、经营管理、客服管理、大数据在内的近百个业务系统在线Oracle数据库的全量搬迁工作,迁移数据规模超400TB、数据量超千亿,单库数据规模超20TB。


3)突破三:迁移全程同时保障了业务连续性和数据准确性。整个迁移过程无一例回切,上线后近一年来,系统稳定运行,并历经2021年完整周期的“业务大考”,经受住了开门红高峰TPS 5万+、QPS 21万+和包括精算在内的所有业务环节的严苛考验,完全满足生产需要,实现国产数据库从可用到好用的跨越。


4)突破四:迁移后实现技术100%自主创新。基于完全自研创新的国产数据库,迁移过程中版本升级持续发版共计50余次,最长需求解决时间2个月(Pro*C+Tuxedo)。同时通过系统培训与交流实现累计超过500位员工的数据库专业考试认证,实现了数据库的全面自主掌控能力。


5)突破五:迁移后新一代技术成为关键生产力。迁移后,存储成本显著下降,性能也大幅度提升,数据库由主备模式发展为支持两地三中心多活部署,生产事件处理时长从小时级缩短到分钟级。


当我们回顾这一段历程,过程虽然艰辛,但积累了宝贵的大型金融机构国产数据库迁移实践经验。

07.jpg

二、国产金融级数据库迁移实践


1、前期准备工作


1)数据库选型


数据库是企业IT基础设施中皇冠上的明珠,存储企业运行核心数据资产,向上支撑应用,向下屏蔽底层基础设施,在金融行业“稳定压倒一切”的大前提下,数据库的选型更为慎重,根据信通院《数据库发展研究报告(2021年)》 的描述,截止2021年6月底,国产关系型数据库厂商就高达81家,面对如此纷繁复杂的产品,如何选择合适的数据库是摆在该保险公司面前的首要问题。虽然数据库产品众多,经过审慎的评估后,最终选择了OceanBase、PolarDB等三款产品作为先期试点验证,主要选型考量点如下:


是否能满足业务的平滑迁移和未来架构的演进。

是否具备分层解耦能力,重点解除数据库与底层硬件、操作系统、中间件之间的耦合。

是否有足够人才储备、资金投入,保证产品的长期演进和商业兜底。

是否有广泛的行业实践案例。

是否能做到完全自主研发。

是否能兼容原有开发运维体系,自有技术人员能否快速掌握。

2)基础设施准备


该保险公司核心业务系统原先共计使用超过60多台IBM和HP高端小型机,超过70多台高端存储,传统集中式架构耦合性强,难以实现规模和性能的线性扩展。本次国产数据库采用机架式服务器和本地存储全面替代进口小型机及传统SAN存储架构,以满足核心系统全量迁移的云原生分布式架构改造。同时为了避免基础设施变动过大导致业务系统不稳定,采用Intel+海光+鲲鹏服务器混合部署的架构。前期仍以Intel X86为主,逐步过度到海光、鲲鹏芯片国产服务器。实现在线调整不同型号机器,解除了基础设施供应依赖。2020年9月,正式启动国产数据库迁移项目之后,从硬件环境的型号选择,到选出目标系统,进行容量规划,不到两个月的时间,从0开始完成国产数据库的硬件和操作系统适配、以及整个服务器集群的搭建。


3)迁移策略制定


该保险公司的业务经过多年的发展,业务范围覆盖全国,特色鲜明、种类繁多、关联关系错综繁杂,核心数据库迁移需要广泛调研和充分的科学论证——既要求数据库产品比照原有生产数据库的高性能和安全可靠,也需要快速实现多套系统的平滑迁移,同时解决资源弹性和数据库横向扩展的能力。因此,建立了数据库迁移实施的统一规范和标准,总体遵循评估-实现-控制-分析改进的科学方法论,开展有序迁移,并定下三大迁移策略:


先平迁再做业务和架构改造升级,避免多个变量同时发生,影响业务的连续性。原有数据模型不做改造,主体改造工作由新数据库来承担。

迁移批次以业务系统为粒度,从低负载到高负载,从外围到核心。

用1年时间完成所有业务系统的数据库全量迁移改造,所有系统数据库迁移动作时间窗口只给周六、周日凌晨0点到早上6点,周末小流量验证,周一重点保障,不影响正常业务开展。



点击全文阅读


本文链接:http://zhangshiyu.com/post/43997.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1