基于半监督生成对抗网络的三维重建云工作室

Abstract

由于固有的问题复杂性和计算复杂度，三维重建是计算机视觉研究和应用领域非常重要且富有挑战性的课题。目前已有的三维重建算法往往会导致重建的三维模型上存在着明显的空洞、扭曲失真或者模糊不清的部分，而基于机器学习的三维重建算法往往又只能重建简单的分离物体，并表示成三维体元形式。所以这些算法框架对于实际应用来说都还远远不够。从 2014 年起，生成对抗网络被广泛应用于半监督学习，以及产生非真实数据集的应用中。所以本文的重点是采用生产对抗网络原理，来获得高质量的三维重建效果。提出了一种新颖的半监督三维重建算法架构，命名为 SS-GAN-3D。该算法通过训练生成对抗网络模型，使其达到收敛状态，以此来迭代式地提高原始三维重建模型的质量。SS-GAN-3D 只需要将事先观测的二维图像作为弱监督样本，对于三维结构外形的先验知识或者参考观测都没有任何依赖。最终通过定性和定量实验，以及对实验结果的分析，该算法框架在 Tanks ＆amp; Temples 和 ETH3D 标准三维重建测试集上，比目前最先进的三维重建方法有明显优势。基于SS-GAN-3D算法，又提出了三维重建云工作室解决方案。

Keywords

• 三维重建
• 生成对抗网络
• 半监督学习
• 云工作室