Awesome 3D Human Reconstruction

A curated list of related resources for 3d human reconstruction. Link

Contents

• papers
• related papers
• parametric model
• dataset
• labs
• other related awesome
• survey

目录

• 摘要
• 介绍
• 创新点
• 方法
  • Method Overview
  • Universal Prior Model
  • Dataset
  • Training and Losses
  • Conditioning Data Acquisition
  • Personalized Decoder Generation
  • Finetuning a Personalized Decoder
• 局限性

摘要

创造出一个逼真级的人脸头像需要大量的面部捕捉数据，但是这种条件只有视觉特效企业才能做到，无法普及到大众群体。本文的工作就是利用手机捕捉数据来得到一个真实匹配人脸的头像。

不同于以往直接对整个人脸外观进行建模的方法，本文的方法仅使用少量的数据就可以应对各种人脸生成一个头像模型。

这个模型摒弃了会产生幻觉身份的低维潜在空间信息，相反，它使用了可以提取不同尺度person-specific信息的条件表示

本文方法的输出不仅是一个与人的面部形状和外观相匹配的高保真3D头像，而且还可以使用一个具有对注视方向的分离控制的共享全局表情空间来驱动人脸。

摘要

本文提出一种条件估计的框架，利用自监督学习方式实现从2D单视角图片学习3D人脸参数，该方法简称CEST。CEST是一个综合分析过程，大体上看是从面部图片得到3D面部参数（形状，反射率，视角，光照），根据这些参数重建出2D图片。

在这个过程中，结合3D人脸参数之间的统计相关性来耦合各个参数估计值，具体来说就是某一项参数的估计不仅取决于源图像，也取决于前面已经预测推导出来的参数。此外，本文还利用视频帧之间的反射对称性和一致性来提高人脸参数的解耦。

摘要

三维人脸重建在媒体应用领域扮演着重要的角色，其中包括数字娱乐，社交媒体，情感分析和人物辨识。利用单张图片估计人脸参数模型，首先需要检测面部区域和面部关键点坐标，然后裁剪出每个人脸区域，利用深度学习方法对该区域图片进行参数回归预测。

不同于常规方法（对每个检测人脸区域独立的预测），本文提出一种端到端的多个面部三维重建方法（Multi-Face Reconstruction），可以利用单个网络推理预测出多个人脸实例参数。与此同时，本文为每个图像中的人脸使用了全局相机模型，使得重建出来的头部位置和面部朝向都与原图相同。

本文提出的方法不仅可以减少特征提取过程中的计算冗余，而且网络模型也更加容易部署。

随机数

随机数是专门的随机实验结果，其特点在于产生的后面那个数与前一个数是没有联系的。真正的随机数是利用物理现象产生的，比如掷钱币、骰子、转轮等，产生随机数的方法统称为随机数发生器。

伪随机数

伪随机数其实是具有一定的规律性的，它是由计算机使用算法模拟出来的，但由于其产生的算法相对来说较为复杂，规律周期较长，并不容易查找出其规律。

简介

传统3D人脸重建方法，大多是立足于图像信息，如基于图像亮度、边缘信息、线性透视、颜色、相对高度、视差等等一种或多种信息建模技术进行3D人脸重建。这方面的技术论文，无论国内外都相当多，也较杂乱，一时间个人也不好具体统计，总之其中也是有很多不错的思想和方法的，当然这也不是本文重点内容。 基于模型的3D人脸重建方法，是目前较为流行的3D人脸重建方法；3D模型主要用三角网格或点云来表示，现下流行的模型有通用人脸模型(CANDIDE-3)和三维变形模型(3DMM)及其变种模型，基于它们的3D人脸重建算法既有传统算法也有深度学习算法。 端到端3D人脸重建方法，是近年新起的方法；它们绕开了人脸模型，设计自己的3D人脸表示方法，采用CNN结构进行直接回归，端到端地重建3D人脸。

摘要

当下单目重建多采用数据驱动的策略，但是受限于真实标签数据的缺乏，导致这种方法很困难。本文提出一种跨模态网络架构，可以利用所有图像和法线数据（无论是否配对），通过encoder和decoder的跳跃连接实现面部细节在图像和法线维度上进行传递。本文方法的核心就是一个融合deactivable skip connection的模块，该方法通过相同的端到端架构集成了自动编码和图像到法线转换的功能。

摘要

​ 人脸的3维形状是易于区分的，但尽管如此，3维人脸仍很少用于人脸识别以及3维人脸数据经常是在受控环境下采集的。现有的方法在野外环境下对3D人脸的估计是不稳定的，会因同一主题的不同照片而发生变化，要么是过拟合，要么是过于通用（平均脸）。本文直接对输入图片处理，通过CNN回归3DMM的形状和纹理参数。本文通过提供一种生成大量标记示例的方法来克服所需的训练数据不足的问题。本文方法在MICC数据集实现SOTA效果，同时在人脸识别效果上也有成效，本文在人脸识别上是使用3D人脸形状作为表示，而不是其他系统使用的不透明深度特征向量。

摘要

​由于遮挡物的剧烈的可变性，遮挡下的人脸重建极具挑战性。目前最成功的方法是通过逆向渲染来拟合3D人脸模型，并假设遮挡物给定分割，以此避免拟合遮挡物。然而，训练一个遮挡分割模型需要大量的注释数据。在这项工作中，我们介绍了一种基于模型的 3D 人脸重建方法，该方法对遮挡具有高度鲁棒性，但不需要任何遮挡注释进行训练。在我们的方法中，我们利用了生成人脸模型只能合成人脸而不是遮挡物的事实。我们使用此属性来指导遮挡分割网络的决策过程并完成无监督训练。目前主要挑战是模型拟合和遮挡分割相互依赖，需要共同推理。CelebA-HQ、AR 数据库和 Now Challenge 的定性和定量实验表明，所提出的方法在遮挡下实现了最先进的 3D 人 脸重建。此外，尽管在没有任何遮挡注释的情况下进行了训练，但分割网络仍能准确定位遮挡。

摘要

​  最近，基于深度学习的3D人脸重建方法在质量和效率上都显现出可喜的成果。然而，深度神经网络的训练通常需要大量的数据，而具有真实3D人脸形状标签的人脸图像却很少。该文章提出一种深度3D人脸重建方法：