基于多中心集群协同计算的大数据平台技术研究与应用

Abstract

中国电信面向横跨多个地域、拥有众多集群的大型政企机构，推出可以高效协同各类资源的广域大数据架构体系——云边智算大数据平台。该平台从集群维度对数据分区进行逻辑抽象，将独立分散的数据集整合为一个“虚拟数据集”，实现了一对多的数据集映射管理。同时，该平台的计算负载数据集具有泛化特征，能够灵活应对不同场景下的数据处理需求。另外，该平台以关系表达式为中间表示，支持多种计算引擎和调度系统，能够在复杂的大型数据处理高容错场景中高效地完成批处理任务负载。目前，云边智算大数据平台已在多种应用场景中落地，平台在5G Core能力调度子系统（5GC）多中心大数据作业开发、运营方面提效17%，且已实现8省前置大数据集群共计42 PB存储、84 TB内存、24 984 VCore计算资源的协同调度，日均完成80 308次前置-核心两级任务调度。

Keywords

• 云边协同
• 统一sql
• 任务优化
• 大数据平台