人脸重演获新突破 网易互娱AI Lab论文入围ECCV

2022-07-20 18:23:00 来源:上海证券报·中国证券网 作者:罗茂林

  上证报中国证券网讯(记者 罗茂林)近日,记者从网易了解到,网易互娱AI Lab论文《基于单张照片的实时高分辨率人脸重演算法》(《Face2Faceρ: Real-Time High-Resolution One-Shot Face Reenactment》)入选了人工智能国际会议ECCV 2022。该论文创新性地提出了一种人脸重演的新方法,在保证生成质量的同时,最高可将算法速度最高提升至原来的9倍。

  据了解,ECCV即欧洲计算机视觉国际会议,是计算机视觉三大国际顶级会议之一(另外两大顶级会议为 CVPR 和 ICCV),每两年举办一次。本届论文总投稿数达到5803篇,再创历史新高。

  在网易互娱AI Lab入选的本篇论文中,研究团队创新地提出了一种能够基于单幅图片的实时高分辨率人脸重演算法,用于将驱动人脸说话时的面部表情和头部姿态实时迁移至静态图像的人脸上,从而实现对姿态和表情的“复制粘贴”。

  在生成效果方面,该方案相比目前常见的基于形变(warp-based)或直接合成(direct synthesis)的方法,无论是对于编辑前后的人脸身份保持、还是对于头部大姿态改变时的生成结果,都能取得甚至超越目前的已有方案;而在运行效率方面,该方案在显著降低算法复杂度的基础上,将速度最高提升至目前方案的9倍,大大降低了内存开销和生成速度。

  近年来,人脸重演技术因其在媒体、娱乐、虚拟现实等方面的应用前景而备受关注,其最直接的帮助就是能够帮助提升音视频的制作效率。去年,网易互娱AI Lab也将该技术成功应用于AI合成新闻主播制作,并与《羊城晚报》携手推出了“羊小晚”和“羊小派”两位虚拟新闻主播,帮助自动生成新闻播报视频,以降低制作成本、提升制作效率,促进新闻生产的智慧变革。