腾讯云助力央视总台构建国家级新媒体大数据平台
点击蓝字⬆ 关注我们
本文共计2419字 预计阅读时长8分钟
背景:融合媒体与数据时代的挑战
随着5G技术的飞速发展与新媒体行业的变革,中央广播电视总台(以下简称“总台”)肩负“守正创新”的使命,致力于通过新技术推动媒体融合,打造强大的主流舆论平台。2019年,总台党组提出建设以“央视频”为核心的国家级5G新媒体平台,旨在构建以短视频为主打的视听新媒体旗舰,并探索以数据驱动业务运营的新模式。
为实现这一目标,总台启动了5G新媒体平台建设项目,构建从内容制作、分发、运营到归档的全流程智能化平台,同时实现”五个一”系统目标:一个数据枢纽、一座数据中台、一套数据治理规范、一幅版权地图和一扇可视化窗口。在这一过程中,腾讯云作为核心技术合作伙伴,提供了从基础设施到大数据平台建设的全方位支持。
2024年,该项目在中国国际大数据产业博览会上被评为“数字中国建设典型案例”,成为媒体行业唯一入选项目。
11月7日,在2024年度中国电影电视技术学会科学技术奖励大会上,该项目荣获“2024年度中国电影电视技术学会科技进步奖一等奖”。
建设需求:以大数据平台为核心支撑数据化运营
作为首个国家级数据驱动型5G新媒体平台,央视频需要应对内容汇聚、数据整合与高效运营等复杂挑战,其核心需求包括:
1.构建数据枢纽
整合用户行为、媒资素材、业务流水及外部数据,打造统一的数据汇聚和交换中心,确保数据流动实时、准确与稳定。
2.搭建高效数据中台
通过分布式计算和存储,建立高性能、稳定且兼容的大数据中台,满足实时数据处理与批量分析需求,为业务提供强有力的支撑。
3.完善数据治理
制定统一的命名、格式与管理规范,提升数据质量、透明度与可用性。
4.内容版权追溯
通过数据建模与引用关系分析,打造全面版权地图,保护原创内容权益并支持内容再创作。
5.决策支持窗口
提供多维度数据可视化工具,为运营决策与趋势分析提供实时支持。
腾讯云解决方案:一体化大数据平台设计
针对央视频复杂多样的需求,腾讯云基于全栈大数据产品体系,打造了一套以TBDS、TCHouse、Oceanus和腾讯云ES为核心的大数据解决方案,构建高效、安全、可扩展的5G新媒体大数据平台。
平台整体架构
1.数据底座与计算框架
◾腾讯云TBDS与自研高性能数据仓库TCHouse是整个中台的基础。TBDS以国产化特性保障系统合规性与高性能,支持实时数据接入及离线扩展,实现对多源异构数据的全面处理,满足从数据湖建设到机器学习的多样需求。
◾TCHouse是基于MPP架构的高性能数据仓库,提供强大的并行计算能力,支持秒级查询响应。其稳定的性能在面对央视频复杂的数据分析任务时表现尤为突出,确保平台数据流转的实时性和分析的高效性。
2. 数据接入与治理
◾实时流处理:腾讯云实时计算平台Oceanus作为实时数据流处理引擎,基于 Apache Flink构建,提供低延迟、高吞吐的数据流处理能力,支持数据流式清洗与转换,确保数据入库前即符合规范,使得总台能够即时分析数据流中的关键信息,实现与观众的深度互动,确保内容的快速推送和实时反馈。
◾数据治理:采用TBDS 套件中集成的数据治理工具,对央视频的数据信息进行统一规划和监控,包括数据清洗、质量评估和效能优化,保障数据口径一致性和结果准确性。另外腾讯云与TBDS深度结合的一站式数据开发治理平台WeData,覆盖数据集成、开发、测试、运维的全链路;包含数据建模、数据质量、数据安全、数据资产等数据治理和数据运营全能力,帮助媒体实现数据价值最大化。
3.数据存储与服务
◾分层架构:构建包括实时数据库、历史数据库、汇总库和应用集市库的分层架构,满足快速查询与深度分析需求。
◾海量存储:腾讯云COS与TBDS深度结合,承载媒资系统的海量存储需求,配合分布式文件系统,实现高效的数据存储与检索。
4. 数据应用支持
◾搜索推荐:腾讯云ES为数据检索和分析提供强大的支持,尤其在搜索和推荐系统中表现卓越。通过对用户行为数据的实时分析,提升了平台的智能推荐能力。作为ES开源社区全球贡献第一的第三方团队,腾讯云的ES产品还支持Serverless模式,能够按需扩展,灵活适配总台的数据需求。
◾决策支持:基于RayData大屏展示系统,实现数据的直观呈现,为运营团队提供科学决策支持。
实施过程:从技术部署到全流程优化
在建设过程中,腾讯云与央视频团队保持紧密合作,通过多阶段实施逐步完成平台的搭建与优化工作。首先,团队采用混合云架构,分别在公有云和专有云环境中部署系统,确保媒资内容在传输过程中的安全性和高效性。在此基础上,以TBDS为核心构建了数据存储与处理框架,对多源异构数据进行统一治理,并进一步优化了数据查询性能,为平台提供坚实的技术底座。
同时,腾讯云与业务团队协作,设计并开发了基于BI工具的可视化界面,为业务部门提供实时的数据支持,帮助运营决策更加科学和高效。实施过程中,根据实际业务反馈,团队不断优化数据模型与分析逻辑,以更好地适应动态变化的需求。此外,为确保平台能够应对业务扩展需求,腾讯云对TBDS环境进行了多次扩缩容操作,并在组件分离与版本迭代方面持续升级,显著提升了平台的灵活性和可用性。
显著成效:数据驱动媒体新生态
1.全链路数据管理
建立涵盖数据采集、分析到可视化的全链路平台,为内容生产与业务运营提供全面支持。
2.内容与数据的融合创新
通过智能推荐与版权追溯功能,深度挖掘原创内容价值。
3.提升效率与安全性
混合云架构与分布式处理能力实现高效并发支持,同时保障数据安全。
4.数据决策驱动运营优化
通过算法的智能化识别和挖掘能力,实时数据可视化,支持运营团队更精准地理解用户行为与行业趋势,提升内容分发策略的科学性。
5.多终端算法承接
把央视频的成熟算法经验,覆盖到央视财经、央视体育等多终端台内场景,带来联动效益。
自平台上线以来,支撑了央视频APP千万级日活,日增数据量超100亿条,统一支撑了超过1300运营报表,实时和离线计算平台年数据存储量达PB级。
典型大规模场景:大型赛事与活动保障
央视频数据中台成功支撑了春晚红包活动、奥运会、冬奥会等大型赛事和活动的直播与数据分析需求。
在2024年巴黎奥运会期间,数据中台以QPS突破500万、日处理超200亿条数据的能力,保障了超过180小时的日直播量及 7294 场比赛的数据分析需求。以乒乓球赛事为例,总观看量突破11亿人次,在樊振东对战张本智和的比赛中,写入流量一度突增50%,高并发写入流量峰值达1300万/秒,腾讯云ES日志分析平台成功应对流量洪峰。
未来展望
央视频大数据平台的成功,不仅展示了腾讯云技术的领先性,更为媒体行业的数字化转型提供了宝贵经验。未来, 腾讯云大数据将持续致力于打造一个轻快、易用的智能化大数据平台,为媒体行业的高质量数字化发展之路注入注入新动能。
END
关注腾讯云大数据╳探索数据的无限可能
⏬点击阅读原文
了解更多产品详情
我知道你在看哟