Motion2MixamoRig:视频动作转角色骨架

AI项目5小时前更新 onemo
4 0

把一段真人跳舞视频变成 3D 角色的动作,过去要么手动 K 帧,要么穿动捕服重拍一遍。Motion2MixamoRig 走的是第三条路:从视频里推估人体姿势,再对到 Mixamo 骨架上。它能跑通,但离「一键成片」还有几步距离,先把这几步看清楚,能省掉很多返工。

官方流程示意:真人视频经姿势推估,转到 Mixamo 骨架角色
官方流程示意:真人视频经姿势推估,转到 Mixamo 骨架角色

三个步骤,不是「一键成片」

流程拆开是三段:人体姿势推估、骨架对应、画面输出。任何一段崩了,最终画面都不对,但原因完全不同——分不清这三段,就会一直换角色、换参数,却始终没修到问题。

最常见的失败是遮挡:原视频里手被身体挡住,推估出的关节就不完整,套到角色身上就成了手臂角度诡异、或者关节突然跳变。这时候换角色没有用,得回去换素材。

所以热门的演示视频只能说明这条路存在,不能说明你手上这段视频能跑通。

素材要求比工具本身更关键

官方要求很硬:单人、全身、从头到脚持续在画面里。边缘裁掉脚,或画面里还有第二个人,人体推估就失去可靠依据。

这对拍摄方式有直接影响。固定机位、足够光线、干净背景,是让系统看清动作的前提;快速切镜、强遮挡、人物走出画面,都会让后面所有步骤白做。

第一次测试挑短而简单的动作:站立、抬手、转身。先确认关节对得上,再逐步上跳跃和快节奏的动作。

照片输入只能还原静态姿势。它能摆出一个姿势,但补不出没被拍到的运动过程,这个差别最好一开始就记住。

环境和依赖:5GB 权重只是开始

Python 3.10 以上是前提。第一次运行会下载约 5GB 推理权重,这是模型做判断要用的数据,纯占存储。

更麻烦的是另外两样:SMPL-X 人体模型和 Mixamo 的 FBX 角色文件,仓库都不提供,得自己按各自网站的要求去取。程序装完跑不起来,八成是缺这两样。

ffmpeg 影响输出质量:没有它部分流程还能走,但输出的视频可能没有声音,浏览器里也无法正常播放。

动手前先跑项目的环境检查指令,它会指出缺哪个文件或哪项设置。在花时间等推估跑完之前先查一遍,比事后看报错省事。

换角色可以复用骨架,别重跑推估

慢的是人体推估,第一次还要叠加下载权重的时间。官方给的 CPU 时间只当参考,实际取决于硬件、视频长度和环境条件。

同一段视频要套到不同角色时,重用已生成的人体骨架结果,就能跳过推估,只做角色对应与输出。这条对美术探索特别有用:先用一个动作比几种角色比例,定下方向,再处理细节。

但如果你只换了角色文件、没指定已有骨架,程序会老实地再推估一遍。把每次输出的文件夹和命令行存下来,是最省事的防呆。

输出与排错:先看四路预览

跑完会留下执行记录、人体骨架、角色关节旋转和带骨架的角色文件。别只留最后那个预览视频——执行记录用来复现,人体骨架用来换角色,关节数据留给后续分析。

角色输出是 GLB,可以进 Blender 或 Unity。GLB 就是把三维模型和相关数据打成一个包,方便在支持的工具之间传递。

预览有四路:原片、人体骨架、角色骨架、完整角色。并排比较能看出问题从哪一步开始,而不是对着最终视频猜原因。

进 Blender 后先核对帧率和帧范围。动画看起来太快或太慢,多半是时间设置不一致,不是推估本身算错。角色在场景里看不见时,先查摄像机和物体显示,别急着怀疑文件坏了。

Apache 2.0 不等于素材能商用

项目代码是 Apache-2.0,但依赖素材各有各的规矩,需要分开看。

SMPL-X 默认只授权非商业的研究、教育与艺术用途,商用要另行安排。Mixamo 角色可以用在符合条件的成品里,但官方提醒不要把原始 FBX 当素材包再分发——作品使用和资产转售是两件事。GVHMR 等推理权重同样按上游条款走,下载是程序自动完成的,不代表授权跟着变成主项目的授权。

代码开源不会顺带放开依赖的授权。要接商业项目,先把依赖清单和条款逐项对齐,别等动画做完才发现这条素材不能用。

一张照片能做完整动画吗?

不能。照片流程恢复的是静态姿势,完整动作需要视频提供时间上的连续变化。

比较合适的用法,是先把它放在探索和原型阶段:比角色比例、验证动作节奏、给客户看方向。正式交付前,碰撞、脚部接触和循环衔接还得到引擎里验证。想找同类工作流,胖桃AI 的 AI 视频与专业设计栏目里也收过几款工具,可以放在一起对照。

© 版权声明

相关文章