HiPHI 的人形动作发布提出了不同于单纯增加互联网视频的起点:按语义采集计划系统变化,测量人体和物体状态。报告中的 617.5 小时规模可观,但包含对 308.7 小时原始捕捉的左右镜像。评价规模及机器人控制改善主张时,这个区别至关重要。

论文于 2026 年 8 月 17 日提交,9 月 8 日修订,研究记录称已被 CoRL 2026 接收。作者报告的基准将数据质量连到学习式跟踪策略及部分 Unitree G1 演示,不等于通用机器人自主理解并完成陌生任务。

发布到底包含什么

研究者以 90 赫兹光学捕捉 132 位表演者,称标记点跟踪达到亚毫米级。这描述采集系统,不保证重定向机器人每个关节也达到亚毫米误差。发布约 2.001 亿帧,采用标准化 55 关节 BVH 记录,附自然语言及语义标识。

时长分为 371.8 小时纯身体动作与 245.7 小时人与物体交互,后者占 39.8%。物体位置、朝向轨迹与高分辨率网格同步,每帧身体对应一个物体记录。共有十二类、四十件标准真实物体,重量 0.45 至 6.25 千克,另有镜像网格。

这种结构保留纯身体片段会丢失的信息:坐下取决于椅面,推重物改变平衡及落脚。视频能描绘事件,却需估计深度、遮挡和接触;动作捕捉更直接测轨迹,但工作室难及互联网环境与自发行为的丰富程度。

因此,HiPHI 强化训练的一层,而非替代所有来源。人类示范提供行为,测量几何约束模仿,机器人专用训练仍须将参考转为可执行控制。

FrameNet 组织采什么,不只是叫什么

采集以 Berkeley FrameNet 的事件框架与词义为种子。Frame-LU 对区分身体意义与其他词义,例如跑步与经营公司。HiPHI 使用二十二个框架、二百一十四个动作单元。

语言标签不等于物理多样性。擦额头与遮眼可能同轨迹,“走路”却隐藏速度、方向、步幅、转弯和高度变化。指令沿幅度、节奏、姿态、接触位置、负载及物体路径等可测维度变化。

最常见五十个标签占时长 53.7%,其余 46.3% 在该组以外。每单元表演者中位数二十四人,一百五十四单元至少十人。既有常见运动,也刻意采集长尾,减少单人风格依赖。

覆盖测试将数据统一为二十三关键点、每秒三十帧,用共享无监督编码器和均衡样本比较。HiPHI 占投影空间 1,620 格,BONES-SEED 为 1,438;有效占用为 1,443 对 1,114,反映分布均匀性,不只看某格是否有一个例子。

长尾指标是 14.1% 对 10.7%。作者称在所测随机种子、投影及网格设置均有优势。这是特定表示下结果,不证明普遍覆盖整个动作流形。均衡比较优于只数小时,但低维投影无法衡量每种行为。

几何接触改善,不等于测得力

HiPHI 报告无冲突率 98.1%、近表面贴合度 95.7%。前者检验采样骨骼是否穿透物体,后者检验是否足够接近以支持交互。HIMO 对应为 97.6% 与 79.0%,OMOMO 为 90.6% 与 50.4%。

手接近网格不代表施力正确或抓握稳定,指标没有验证摩擦、触觉或真实负载。比较可用数据量也不同:HiPHI 发布交互 245.7 小时,HIMO 被评估物体轨迹 21.6 小时,OMOMO 9.8 小时。

在地面约定可比的数据中,作者称五项平滑及接触伪影指标最低。HiPHI 第 95 百分位穿地八毫米,BONES-SEED 十八、AMASS 一百一十一;无支撑悬浮占评估时长 0.015%,支撑点漂移每秒六十四毫米。这是数据集层面测量,不保证每段片段。

下游交互结果有好有坏。推动时,HiPHI 身体平均关节位置误差 99.20 毫米,差于 OMOMO 的 66.09,但物体位置及朝向更好。搬运时身体误差低于两个对照,物体位置误差反而更高。物体运动与人体姿态匹配可能竞争,不能声称每项任务都赢。

共享训练让控制比较更有意义

团队把人类参考重定向至身体比例和执行器限制不同的 Unitree G1。纯身体策略使用 DeepMimic 风格强化学习。AMASS、LAFAN1、Motion-X++、BONES-SEED 均在匹配数据预算下使用同样重定向及训练。

据报,HiPHI 在三小时和二十小时设置下成功率最高、收敛最快,比较含五次独立训练。另一个扩展实验使用未经镜像的三至三百小时数据,以另外四数据集留出动作评估。随数据增长,跨集关节误差下降,十次重复给出均值与方差带。

实验连接采集设计和控制指标,不只看视觉重建。但解释仍取决于共同重定向器、策略及评估;其他形态或训练架构可能改变优势。

实体 G1 演示有跑、坐、爬、搬箱、翻转和拉行李箱。真实执行器及传感给出比仿真更强的可执行证据,却仍是受控条件下选定行为,不是陌生工作环境的自主识物、选择目的地、规划及恢复。

跟踪策略在稳定时跟随参考,完整机器人还要决定用哪个参考。运动须针对形态重定向并检查安全,G1 成功不会原样迁移至每种人形机器人。

采用有明确边界

全部原始捕捉为工作室单人,缺自然环境的杂物、不平地面、光照变化及意外,也无直接人际交互。交接或共同搬运,需要多个身体及关系变化。

发布记录运动学,而非接触力或触觉。相近轨迹可涉及不同阻力和抓力,易碎、湿滑、可变形物体尤其不能只靠准确动作。

镜像增加左右覆盖,不增加独立演员或会话。CoRL 接收提供同行评审,广泛信任仍需外部复现作者比较和硬件结果。

许可为 CC BY-NC 4.0,不能宣传成无限制商用训练材料。公开包不含 RGB 视频、音频、面部图像和语音,以数字表演者编号及概括属性呈现。运动本身仍有个体模式,没露脸不代表零识别可能。

HiPHI 可辩护的贡献是结构化动作基础设施:更大规模、精确且语义组织的参考,带同步物体及部分可执行技能证据。独立重训、跨 G1 迁移、补充力触觉或视觉背景,将检验可复用程度。它推进视频广度与测量物理结构的比较,并未声称解决人形自主性的其余部分。

来源

相关阅读
参考来源

浏览工具目录 →