SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes — CVPR 2024— project — code
基于Gaussian splatting 提出了一种新的表示，将动态场景的运动和外观分别显式地分解为稀疏控制点和密集高斯。关键思想是使用稀疏控制点，数量明显少于高斯分布，以学习紧凑的 6DoF 变换基，可以通过学习的插值权值局部插值，得到3D高斯的运动场。采用变形MLP来预测每个控制点的时变6*度变换，降低了学习的复杂性，增强了学习能力，有利于获得时间和空间连贯的运动模式。然后，我们联合学习3D高斯、控制点的规范空间位置和变形MLP来重建3D场景的外观、几何和动力学。在学习过程中，自适应调整控制点的位置和数量，以适应不同区域的不同运动复杂性，并开发遵循尽可能刚性原理的ARAP损失，以加强学习运动的空间连续性和局部刚性。最后，由于显式稀疏运动表示及其从外观分解，我们的方法可以在保持高保真外观的同时实现用户控制的运动编辑。大量实验表明，我们的方法在具有高渲染速度的新颖视图合成上优于现有方法，并实现了新颖的外观保留运动编辑应用程序。