基于多尺度特征融合的轻量化人脸图像修复算法

Abstract

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题，提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先，使用深度可分离卷积替换原有卷积，增强模型对不同通道和上下文信息的特征表达能力，实现模型轻量化；其次，在跳跃连接中设计了多尺度特征注意力融合模块，充分融合不同尺度特征的信息，内嵌残差块减少特征间语义差距，提高模型修复准确率；最后，引入了位置注意力模块，增强人脸图像的显著信息，提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试，修复后的图像的峰值信噪比（PSNR）达到30.49 dB，结构相似性（SSIM）达到96.85%，与其他模型的对比实验结果表明，该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

Keywords

• 图像修复
• 人脸图像
• 深度可分离卷积
• 多尺度特征注意力融合
• 位置注意力