沈阳自动化所提出基于循环神经网络的图像修补新模型

近日，中国科学院沈阳自动化研究所在自然场景及人脸图像的修复研究中取得新进展，提出的基于循环对抗生成网络的图像修复方法应用于任意缺失区域的检测和修复。相关研究成果发表在IEEE Transactions on Multimedia上。

图像缺失区域的恢复是图像处理中的难点问题，是影响目标识别、跟踪等视觉任务的精度及鲁棒性的重要因素。由于图像缺失区域信息完全丢失和缺失信息的唯一性，因此，根据已知区域的特征准确恢复图像中的缺失目标信息具有重要意义，传统的复制-粘贴模式不易同时满足图像结构和细节的恢复需求。

沈阳自动化所视觉课题组提出一种基于循环对抗生成网络的修复模型，将图像修复过程转化为由结构到细节逐步、循环预测和修复损失区域的过程：高层语义特征在图像修复过程中负责指导结构重建；低层特征对高层语义具有明显的补充作用，负责细节重建。通过实验，研究人员在多个数据库上与主流算法进行对比，在峰值信噪比（PSNR）、结构相似性（SSIM）、图像相似性（FID）等指标上均为最优。

研究工作得到国家自然科学基金、科学技术部重点研发计划、中科院国际合作重点项目和交叉创新团队等项目的支持。