大数据 (Mar 2024)

面向算力网络的跨域数据管理方法

  • 鲁蔚征, 戴奇志, 张策

DOI
https://doi.org/10.11959/j.issn.2096-0271.2023068
Journal volume & issue
Vol. 10, no. 2
pp. 94 – 108

Abstract

Read online

跨域算力网络希望整合多个算力中心的计算和数据资源,但现有的方案对跨域文件和数据管理关注不够。提出了一种轻量级的跨域算力网络数据管理方案:通过文件系统协议转换,接入远程算力中心的并行文件系统存储资源;算力中心内部的存储资源作为一种补充,应对高IOPS应用;通过容器绑定技术,将远程存储挂载并绑定到指定目录。基于该方案的原型系统已经在高校校级计算平台部署运行。实测数据和用户体验显示,该方案能够满足常见高性能计算应用需求。

Keywords