在计算机视觉和计算机图形学领域，使用单目视频中的少量视频帧来重建和编辑人脸是非常具有挑战性的。不同于重建刚性物体，动态人脸的重建还会受到复杂的几何形状和外观变化的影响。

为了利用少量视频帧实现3D人脸重建，在今年的SIGGRAPH Asia上，香港城市大学章敬波博士等人提出首个基于少量动态帧的3D人脸重建与编辑框架FDNeRF。与需要大量连续视频帧作为输入的动态NeRF不同，FDNeRF除了能用少量输入重建3D人脸，还能接受视角不一致的动态输入并支持任意的面部编辑，生成除输入之外的新颖表情。

FDNeRF采用了一种新的带有3D约束的条件特征变形模块（CFW），来解决动态输入之间的不一致情况，通过在2D特征空间中执行不同输入表情的形变操作，并基于变形后的特征场构建3D辐射场，最后利用体渲染得到所建的3D人脸新视图。大量的定量和定性实验表明，FDNeRF在三维人脸重建和表情编辑任务上有着优越的性能。

12月16日晚7点，「AI新青年讲座」第183讲邀请到FDNeRF一作、香港城市大学在读博士章敬波参与，主讲《基于NeRF的少量动态帧3D人脸重建与编辑》。