当前位置: 首页 > article >正文

腾讯云助力央视总台构建国家级新媒体大数据平台

点击蓝字⬆ 关注我们

5697de06b34a7ce9ca1084e5ae34c740.gif

本文共计2419字 预计阅读时长8分钟

背景:融合媒体与数据时代的挑战

随着5G技术的飞速发展与新媒体行业的变革,中央广播电视总台(以下简称“总台”)肩负“守正创新”的使命,致力于通过新技术推动媒体融合,打造强大的主流舆论平台。2019年,总台党组提出建设以“央视频”为核心的国家级5G新媒体平台,旨在构建以短视频为主打的视听新媒体旗舰,并探索以数据驱动业务运营的新模式。  

为实现这一目标,总台启动了5G新媒体平台建设项目,构建从内容制作、分发、运营到归档的全流程智能化平台,同时实现”五个一”系统目标:一个数据枢纽、一座数据中台、一套数据治理规范、一幅版权地图和一扇可视化窗口。在这一过程中,腾讯云作为核心技术合作伙伴,提供了从基础设施到大数据平台建设的全方位支持。  

2024年,该项目在中国国际大数据产业博览会上被评为“数字中国建设典型案例”,成为媒体行业唯一入选项目。

11月7日,在2024年度中国电影电视技术学会科学技术奖励大会上,该项目荣获“2024年度中国电影电视技术学会科技进步奖一等奖”。

1d61a3344b25da5e4cbd6b2fcce84f4c.jpeg

建设需求:以大数据平台为核心支撑数据化运营

作为首个国家级数据驱动型5G新媒体平台,央视频需要应对内容汇聚、数据整合与高效运营等复杂挑战,其核心需求包括:

1.构建数据枢纽

整合用户行为、媒资素材、业务流水及外部数据,打造统一的数据汇聚和交换中心,确保数据流动实时、准确与稳定。

2.搭建高效数据中台

通过分布式计算和存储,建立高性能、稳定且兼容的大数据中台,满足实时数据处理与批量分析需求,为业务提供强有力的支撑。

3.完善数据治理

制定统一的命名、格式与管理规范,提升数据质量、透明度与可用性。

4.内容版权追溯

通过数据建模与引用关系分析,打造全面版权地图,保护原创内容权益并支持内容再创作。

5.决策支持窗口

提供多维度数据可视化工具,为运营决策与趋势分析提供实时支持。

腾讯云解决方案:一体化大数据平台设计

针对央视频复杂多样的需求,腾讯云基于全栈大数据产品体系,打造了一套以TBDSTCHouseOceanus腾讯云ES为核心的大数据解决方案,构建高效、安全、可扩展的5G新媒体大数据平台。

73cf8292fb69c8bb530bd3308ca0c340.png

平台整体架构

1.数据底座与计算框架

腾讯云TBDS与自研高性能数据仓库TCHouse是整个中台的基础。TBDS以国产化特性保障系统合规性与高性能,支持实时数据接入及离线扩展,实现对多源异构数据的全面处理,满足从数据湖建设到机器学习的多样需求。

TCHouse是基于MPP架构的高性能数据仓库,提供强大的并行计算能力,支持秒级查询响应。其稳定的性能在面对央视频复杂的数据分析任务时表现尤为突出,确保平台数据流转的实时性和分析的高效性。

2. 数据接入与治理

实时流处理腾讯云实时计算平台Oceanus作为实时数据流处理引擎,基于 Apache Flink构建,提供低延迟、高吞吐的数据流处理能力,支持数据流式清洗与转换,确保数据入库前即符合规范,使得总台能够即时分析数据流中的关键信息,实现与观众的深度互动,确保内容的快速推送和实时反馈。

数据治理:采用TBDS 套件中集成的数据治理工具,对央视频的数据信息进行统一规划和监控,包括数据清洗、质量评估和效能优化,保障数据口径一致性和结果准确性。另外腾讯云与TBDS深度结合的一站式数据开发治理平台WeData,覆盖数据集成、开发、测试、运维的全链路;包含数据建模、数据质量、数据安全、数据资产等数据治理和数据运营全能力,帮助媒体实现数据价值最大化。

3.数据存储与服务

◾分层架构:构建包括实时数据库、历史数据库、汇总库和应用集市库的分层架构,满足快速查询与深度分析需求。

◾海量存储:腾讯云COS与TBDS深度结合,承载媒资系统的海量存储需求,配合分布式文件系统,实现高效的数据存储与检索。

4. 数据应用支持

◾搜索推荐腾讯云ES为数据检索和分析提供强大的支持,尤其在搜索和推荐系统中表现卓越。通过对用户行为数据的实时分析,提升了平台的智能推荐能力。作为ES开源社区全球贡献第一的第三方团队,腾讯云的ES产品还支持Serverless模式,能够按需扩展,灵活适配总台的数据需求。

◾决策支持:基于RayData大屏展示系统,实现数据的直观呈现,为运营团队提供科学决策支持。

实施过程:从技术部署到全流程优化

在建设过程中,腾讯云与央视频团队保持紧密合作,通过多阶段实施逐步完成平台的搭建与优化工作。首先,团队采用混合云架构,分别在公有云和专有云环境中部署系统,确保媒资内容在传输过程中的安全性和高效性。在此基础上,以TBDS为核心构建了数据存储与处理框架,对多源异构数据进行统一治理,并进一步优化了数据查询性能,为平台提供坚实的技术底座。

同时,腾讯云与业务团队协作,设计并开发了基于BI工具的可视化界面,为业务部门提供实时的数据支持,帮助运营决策更加科学和高效。实施过程中,根据实际业务反馈,团队不断优化数据模型与分析逻辑,以更好地适应动态变化的需求。此外,为确保平台能够应对业务扩展需求,腾讯云对TBDS环境进行了多次扩缩容操作,并在组件分离与版本迭代方面持续升级,显著提升了平台的灵活性和可用性。

显著成效:数据驱动媒体新生态

d60812d401a6c90aa4d3f71bd8af2f29.png

1.全链路数据管理

建立涵盖数据采集、分析到可视化的全链路平台,为内容生产与业务运营提供全面支持。

2.内容与数据的融合创新

通过智能推荐与版权追溯功能,深度挖掘原创内容价值。

3.提升效率与安全性

混合云架构与分布式处理能力实现高效并发支持,同时保障数据安全。

4.数据决策驱动运营优化

通过算法的智能化识别和挖掘能力,实时数据可视化,支持运营团队更精准地理解用户行为与行业趋势,提升内容分发策略的科学性。

5.多终端算法承接

把央视频的成熟算法经验,覆盖到央视财经、央视体育等多终端台内场景,带来联动效益。

自平台上线以来,支撑了央视频APP千万级日活,日增数据量超100亿条,统一支撑了超过1300运营报表,实时和离线计算平台年数据存储量达PB级。

典型大规模场景:大型赛事与活动保障

央视频数据中台成功支撑了春晚红包活动、奥运会、冬奥会等大型赛事和活动的直播与数据分析需求。

在2024年巴黎奥运会期间,数据中台以QPS突破500万、日处理超200亿条数据的能力,保障了超过180小时的日直播量及 7294 场比赛的数据分析需求。以乒乓球赛事为例,总观看量突破11亿人次,在樊振东对战张本智和的比赛中,写入流量一度突增50%,高并发写入流量峰值达1300万/秒,腾讯云ES日志分析平台成功应对流量洪峰。

未来展望

央视频大数据平台的成功,不仅展示了腾讯云技术的领先性,更为媒体行业的数字化转型提供了宝贵经验。未来, 腾讯云大数据将持续致力于打造一个轻快、易用的智能化大数据平台,为媒体行业的高质量数字化发展之路注入注入新动能。

END

关注腾讯云大数据╳探索数据的无限可能

aa3126be21463c5aa78c14bacb461e43.png

⏬点击阅读原文

了解更多产品详情

outside_default.png

我知道你在看

f4a965c951deaee58bff4728400aa49c.jpeg


http://www.kler.cn/a/418037.html

相关文章:

  • Android -- 简易音乐播放器
  • 量化交易系统开发-实时行情自动化交易-8.2.发明者FMZ平台
  • 树莓派5+文心一言 -> 智能音箱
  • C++类中多线程的编码方式
  • 【AI日记】24.11.30 kaggle 比赛 Titanic-3
  • [免费]SpringBoot+Vue景区订票(购票)系统【论文+源码+SQL脚本】
  • 网络工程师——VPN
  • 基于STM32的传感器数据采集系统设计:Qt、RS485、Modbus Rtu协议(代码示例)
  • redis.conf
  • RNN And CNN通识
  • 138.python内置模块sqlalchemy进行sql操作详解
  • RNN模型文本预处理--数据增强方法
  • Linux 常用命令大全与详细讲解
  • leetcode 99. 恢复二叉搜索树
  • 【人工智能基础03】机器学习(练习题)
  • 微前端架构 qiankun
  • 在 Flutter app 中,通过视频 URL 下载视频到手机相册
  • 使用Feign远程调用丢失请求头问题
  • BGE-M3模型结合Milvus向量数据库强强联合实现混合检索
  • Tree搜索二叉树、map和set_数据结构
  • 1074 Reversing Linked List (25)
  • 【AI战略思考13】克服懒惰,保持专注,提升效率,不再焦虑
  • centos8:Could not resolve host: mirrorlist.centos.org
  • Springboot(四十四)Springboot集成Validation实现参数校验
  • 第六届国际科技创新(IAECST 2024)暨第四届物流系统与交通运输(LSTT 2024)
  • 【C++】优先队列(Priority Queue)全知道