视频人脸从模糊到高清，西安电子科技大学成果被CCF-A类顶会录用

近日，人工智能领域CCF-A类顶级会议IJCAI (International Joint Conference on Artificial Intelligence) 2024年度的论文揭晓，来自西安电子科技大学通信工程学院的何刚老师团队所发表的题为“Beyond Alignment: Blind Video Face Restoration via Parsing-Guided Temporal-Coherent Transformer”的最新针对视频人脸修复算法研究成果被成功收录。

人脸恢复通常指从低质量的人脸图像中恢复出高质量细节的技术，例如去模糊、去噪声、恢复等。这些技术通过算法改善图像质量，使人脸特征更清晰。而视频人脸恢复则是将这一过程应用于视频序列，它不仅需要处理每一帧的图像质量，还要保证时间上的连贯性和自然过渡，确保视频中人脸的动态表现和质量的一致性。这要求算法能够有效处理视频中的运动模糊、压缩损失等问题。人脸恢复任务在最近几年被广泛研究，并且在工业界被广泛应用。

该论文研究首次提出了一种新颖的盲视频人脸恢复方法，即解析引导的时间一致性变换器（PGTFormer），旨在解决现有技术在处理低质量视频人脸时遇到的挑战。该方法无需预对齐即可恢复高保真的人脸细节，并增强视频中不同姿态变化的时间连贯性。PGTFormer利用语义解析指导选择最优人脸先验，生成时间上连贯且无缺陷的人脸结果。该研究还包括了一个时间空间矢量量化自编码器（TS-VQGAN）的预训练模型，以及一个时间解析引导的码本预测器（TPCP），这些创新技术显著提高了人脸恢复的效率和准确性。

图像左侧为原始图像，右侧为人脸修复算法处理后图像