金融保险行业数字化创新实践：如何高效落地自主可控的企业级大数据平台
使用 TapData，化繁为简，摆脱手动搭建、维护数据管道的诸多烦扰，轻量替代 OGG, Kettle 等同步工具，以及基于 Kafka 的 ETL 解决方案，「CDC + 流处理 + 数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处，将“实时数仓”方法论落进现实。
TapData 持续迭代产品能力，优化用户体验的同时，也在不断探索各行各业数据需求的底层逻辑，力求为行业用户提供更加简洁、更具针对性的解题思路。本期内容便是我们在金融保险行业做出的实践以及展望。
今年9月，国务院印发《关于加强监管防范风险推动保险业高质量发展的若干意见》（即保险业新“国十条”），提出增强保险业可持续发展能力，“提高数智化水平。加快数字化转型，加大资源投入，提升经营管理效率。鼓励运用人工智能、大数据等技术，提高营销服务、风险管理和投资管理水平”。
近年来，保险业数字化、智能化转型不断加快，在业务产品创新、增强风险管理能力等方面的优化表现尤其显著。伴随新“国十条”发布，数智化应用成为推动保险业创新发展的关键动力。
随着技术手段的不断引入，保险行业企业不仅能够拓宽营销渠道，提高营销服务精准度，还能进一步提升公司内部管理、投资管理和风险控制水平，促进普惠性发展，推动保险业运营效率全面提升，为保险业高质量发展打下坚实基础。
有评论称“数智探索不断深化已成为当下保险业创新发展的生动写照。”
而数据作为新型生产要素，是数字化、智能化的基础，已快速融入生产、消费和社会服务管理等各环节，是各行业实现高质量发展的重要。金融保险作为一个频繁与“数字”打交道的行业，如果想要增强可持续发展能力，也需要更加重视数据资源的积累和利用能力。
本期案例便将聚焦于某金融保险企业在进一步推进数字化发展过程中的创新实践。
一、客户背景：迫切的高效、安全数据管理需求与开源方案在实时同步和运维支持等方面能力不足的矛盾
随着大数据平台技术的成熟和广泛应用，该客户和各保险行业同行一样，逐渐认识到大数据在提升业务能力和优化服务方面的重要性，例如可以通过大数据平台，从海量数据中提取有价值的信息，提升风险评估、客户画像、产品定价等能力，从而提高业务效率和市场竞争力。
该金融保险公司也希望可以借助大数据平台技术，在改进销售模式，提升客户体验和满意度的同时，需要有能力更加精准地识别和评估风险，提升风险防控水平，还更加需要更好地遵守相关法规和政策，确保业务的合规性。
但其内部此前在用的开源大数据平台方案，又面临性能瓶颈和安全风险，无法支持实时数据同步和快速查询，且存在数据泄露和知识产权问题。尤其在当前技术自主可控的大趋势下，迫切需要构建一个自主、安全、高效的大数据平台。
客户需求解读
在技术自主可控和数据安全强化的前提下，该大数据平台需具备数据处理能力、快速数据查询、可扩展性、高可用性、容错性及易用性、兼容性和集成等功能特性。同时在性能方面，要求能够支持端到端的实时同步，提供每秒百万条数据的导入能力，并满足多种查询场景需求：
- 数据同步：支持实时、定时和增量数据同步，确保关键业务数据的及时性。
- 调度工具：实现自动化的数据处理流程，支持定时调度和事件触发，提升数据处理效率。
- 数据存储与计算：采用 MPP 数据库支持大规模数据处理，并通过实时、离线、内存计算等计算引擎，满足不同的分析需求。
- 系统兼容性和安全性： 系统需适配自主可控的软硬件，支持 IPv6 和主流浏览器，符合信息安全等级保护三级标准，保证数据安全。此外，还希望新平台兼具良好的可维护性，提供日志分析和系统配置工具，并具备 7×24 小时技术支持能力。
这样的需求背景，适用以 TapData 为实时同步中间件的大数据平台方案
二、解决方案：SelectDB + TapData + NDH，构建自主可控、安全高效的一体化大数据平台
主要场景和方案选择：
- 数据源：OceanBase、Oracle、Dameng、KingbaseES 等
- 方案：NDH 和 TapData、SelectDB 的组合方案，通过 NDH 的大数据基础架构、TapData 的实时数据同步能力，以及 SelectDB 的高性能查询引擎，实现数据的高效处理、实时传输与快速分析，全面支持客户的数据管理和业务决策需求。
- 大数据平台 NDH：网易数帆推出的企业级大数据平台，基于最新开源技术，整合 Hadoop、Spark、Impala 等核心组件并增强其功能和性能。通过 EasyEagle 组件实现智能运维和任务管理，并支持企业级安全管控。NDH 适配信创软硬件生态，确保对核心代码的完全掌控，显著提升数据运维效率和安全性，为企业提供稳定的“数字底座”。
- 统一调度平台：NDH 自带调度器，实现数据传输、离线开发、标签更新、BI 和 AI 平台数据的统一调度管理，减少管理复杂性，提升任务执行效率。
- 实时数据同步平台 TapData：TapData 负责提供安全、快捷的数据同步服务，相较于传统数据迁移/同步工具，TapData 提供功能丰富、简单易用、安全可靠的数据流转服务，旨在帮助企业打破多个数据孤岛，完成数据快速交付，同时依靠实时数据同步，提高数据传输效率。具有丰富的数据库支持，可靠的一致性保证，基于自研的 CDC 日志解析技术，零入侵即可实时数据采集，以及无代码操作界面等优势。
- MPP 引擎 SelectDB：作为全球领先的高性能 MPP 分析型数据库，SelectDB 支持亚秒级查询响应，适合高并发和复杂分析场景。兼顾查询速度和吞吐量，支持报表分析、即席查询、统一数仓和湖仓一体化等需求，满足海量数据的实时处理。
该方案支持多层级租户管理，实现资源的统筹分配。通过租户隔离机制，各租户和子租户之间在数据、资源等方面都独立，从而保障业务隔离和安全性。这对于保险公司中的不同业务部门和客户数据至关重要。
此外，利用 TapData 的实时数据同步功能，可以确保业务系统中的数据在不同数据库之间的高效流转。特别是 CDC 技术的运用实现了低延迟数据同步，保证数据在业务运营和分析之间的及时性。而离线数据同步能力，则为历史数据的迁移和批处理提供支持，有助于构建全量的数据仓库。
同时采用网易数帆的 NDH 调度平台实现数据传输、离线开发、BI平 台等各模块的统一调度管理。这种集成的调度方式减少了平台内的管理复杂性，提高了任务执行的效率，使保险公司在数据处理、分析和报表生成上更为高效。
整体来看，这一大数据平台方案通过多层级的租户管理、分布式的计算架构、灵活的数据调度和实时的同步能力，为保险公司提供了一个高效、安全的技术基础，能够支持保险公司业务数据的整合、管理和分析需求。
全新的大数据平台方案不仅有助于优化该金融保险公司的数据管理效率，也将为其数字化转型和高质量发展奠定了坚实基础。今后，TapData 也将持续挖掘实时数据在金融行业的实用性价值，为从业者提供更多运营灵感，帮助更多组织与机构应对数据管理的复杂性。
【推荐阅读】
离散制造 vs 流程制造：锚定精准制造未来，从装配线到化学反应，实时数据集成在制造业案例中的多维应用
制造业数字化转型创新思路 |《数智新时代制造业数字化创新实践白皮书》上线！
国内顶级汽车制造厂的创新实践：如何利用实时数据湖为更多业务提供新鲜数据？
TapData + 实时数仓：实时数据如何赋能船舶制造业，助力数字化应用升级和科学管理运营
实时数据如何赋能制造业，实现业务卓越与持续发展