Unity提出ProtoRes模型 稀疏可变的输入也能建设完整人体姿态
发布时间：2021-12-07 18:29:30 所属栏目：资源 来源：互联网
导读：稀疏约束通常会引起姿态参数的扰动，其背后的主要原因是缺乏归纳偏置来解决从一小组约束中恢复完整姿势的不适定问题。 人体姿态建模和学习姿态表征在计算机图形与动画、视频中姿态与运动估计、沉浸式 AR、人机交互和自动驾驶等多项应用中具有非常关键的作用
|
稀疏约束通常会引起姿态参数的扰动，其背后的主要原因是缺乏归纳偏置来解决从一小组约束中恢复完整姿势的不适定问题。 人体姿态建模和学习姿态表征在计算机图形与动画、视频中姿态与运动估计、沉浸式 AR、人机交互和自动驾驶等多项应用中具有非常关键的作用，相关研究方法也受到越来越多的关注。在游戏行业，SOTA 实时姿态操纵工具（例如 CCD、FABRIK、FinalIK 等）因其快速执行的特点而受到欢迎，这类工具依赖于通过不可学习的运动方程定义的正向和逆向运动模型。虽然在数学上是准确的，但这些不可学习的运动模型，并不能保证源自稀疏约束（例如关节子集的位置）的欠约束解决方案能够生成合理的人体姿态。相比之下，稀疏约束通常会引起姿态参数的扰动，其主要原因是缺乏归纳偏置来解决从一小组约束中恢复完整姿态的不适定（ill-posed）问题。 来自 Unity Technologies 的研究者在一项工作中为高级 AI 辅助动画工具开发了可学习的人体姿态神经表征。具体来说，该研究解决了基于稀疏和可变用户输入（例如身体关节子集的位置和 / 或方向）构建完整静态人体姿态的问题。为了解决这个问题，该研究提出了一种名为 ProtoRes 的新型神经架构，将残差连接（residual connection）与部分特定姿态的原型编码相结合，从学得的潜在空间中创建一个新的完整姿态。该研究表明所提的架构在准确性和计算效率方面都优于 Transformer 基线。此外，该研究还开发了一个用户接口，将该研究所提的神经模型集成到实时 3D 开发平台 Unity 中。该研究基于高质量的人体动作捕捉数据提出了两个表征静态人体姿态建模问题的新数据集 miniMixamo 和 miniUnity，后续数据集将和模型代码一起公开发布。 （编辑：云计算网_泰州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330476号