Dianxin kexue (Aug 2024)

绿色AI效率评价模型的构建与应用

  • 马晓亮, 刘英, 赵汝强, 杨邦兴, 高洁, 邓从健

DOI
https://doi.org/10.11959/j.issn.1000-0801.2024184
Journal volume & issue
Vol. 40, no. 8
pp. 130 – 137

Abstract

Read online

随着人工智能(artificial intelligence,AI)的兴起,大模型(large language model,LLM)日益成为知识推介和多轮对话的核心技术。伴随而来,AI大模型在数据处理、模型训练和部署过程中的高能耗问题亟须有效评估,以便在模型优化后进行前后量化对比。提出一种AI大模型能耗的评估方法,旨在量化评估AI模型的服务效率(efficiency,E)。该模型使用训练收敛时间(time,T)、模型参数规模(parameter,P)和浮点运算量(floating-point operations,F)等多维度因素,通过构建能源消耗函数C(T,P,F)实现量化分析;同时,运用非线性最小二乘法,得出模型参数。该分析方法不仅适用于电信运营商客服AI模型的运行效率分析,也可泛化于其他行业的AI模型能耗评估。

Keywords