首页 > 业界资讯 > 正文

Vbot维他动力发布跨视角数据生成模型与端到端通用数据管线,降低具身智能数据采集门槛

【太平洋科技快讯】11月13日上午,Vbot维他动力正式发布跨视角数据生成模型Exo2EgoPolicy、端到端通用数据管线Vbot Echo,以及配套数据采集应用Echo App。通过跨视角视频生成、端到端数据处理与以及低门槛的真实场景采集,Vbot打通从数据获取、生成处理到机器人训练数据产出的完整链路,把大量第三视角视频和人类操作经验转化为机器人可用的训练数据。

据介绍,Exo2EgoPolicy面向真实操作场景,可将第三视角视频中的人物动作、物体交互和场景信息转换为对应操作者的第一视角画面。其用途是让原本并非为机器人训练采集的通用视频,转成更接近机器人观测条件的学习素材。

技术上,该模型以视频生成主干为核心,结合视觉编码和语义理解,建立第三视角与第一视角之间的动作联系,识别操作者、双手运动、接触物体及操作随时间的变化,并联合生成连续画面中的空间结构和外观细节。

该模型可处理多人同框、拍摄角度变化和镜头切换等复杂互联网视频,支持指定目标角色,使第一视角生成围绕同一操作者展开;训练中引入相机几何、手部结构和真实操作数据,以提升物体空间布局、手物接触关系和跨视角外观对应的还原质量。使用时只需输入第三视角视频,无需额外深度数据或相机标定信息。

与此同时,Vbot维他动力推出端到端通用数据管线Vbot Echo,以及配套数据采集应用Echo App,结合Exo2EgoPolicy跨视角生成能力,贯通真实场景采集、云端数据处理与机器人训练数据生成的完整流程。

Vbot Echo负责后续处理。数据进入云端后,Exo2EgoPolicy先把第三视角记录转成更贴近机器人观测条件的第一视角视频,使同一次真实操作示范衍生出不同观测视角的数据。

Vbot Echo通过动态场景重建、语义理解、人体与物体姿态估计及时间序列对齐,建立统一时空的人—物交互表示;在运动学层面,结合目标机器人身体结构和关节约束,通过跨本体运动重定向,将人类全身与手部动作适配为机器人关节和末端运动轨迹;在物理层面,结合场景、物体及物性建模,在仿真环境中重演接触交互,生成接触力、关节力矩等辅助标注。

管线还通过物理一致性与质量校验,检查运动稳定性、物体穿透和轨迹跟踪误差,并将校验结果回流优化,形成“生成—适配—仿真—校验—优化”的闭环。系统保留数据来源与质量标签,区分仿真辅助标注与真实测量数据。

采集端,Echo App将流程简化为手机拍摄与上传,兼容第一视角和第三视角数据;用户无需穿戴专业采集设备,只需把手机放在操作区域一旁,即可记录操作过程并上传云端处理。

Vbot 的目标,是从根本上突破具身智能的数据获取瓶颈,让人类经验成为机器人持续进化的源泉。Vbot表示,通过三者的协同,构建规模化采集具身数据的基础设施:通过跨视角生成释放通用视频的学习价值,通过结构化处理、动作适配与物理验证,将符合条件的人类操作转化为机器人训练数据,再通过低门槛采集,让更多真实场景与长尾技能持续进入这一体系。

网友评论

热门IT产品
  1. ¥1699
    华为畅享90 Pro Max
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥5999
    苹果iPhone17
    ·
  4. ¥8999
    苹果iPhone17 Pro
    ·
  5. ¥2399
    iQOO Z11 Turbo
    ·
  6. ¥1999
    vivo Y600 Pro
    ·
  7. ¥3599
    荣耀500 Pro
    ·
  8. ¥3499
    一加Ace 6至尊版
    ·
  9. ¥1399
    荣耀X70
    ·
  10. ¥2199
    REDMI Turbo 5 Max
    ·
为您推荐
  • 相关阅读
  • 业界资讯
  • 手机通讯
  • 电脑办公
  • 新奇数码
  • 软件游戏
  • 科学探索