← 返回主页 🖨️ 导出 PDF

Pipeline 设计

Data-Driven System · 条件驱动的端到端具身智能架构

v2.7.9 · 2026-07-29 · Z-MAX

核心设计思想

DDS(Data-Driven System)是 datadrive.world 的架构内核——一切由数据定义,一切由条件驱动。 不做通用大模型,而是把产线拆解为54种条件场景,每种条件映射到最优的专用小模型, 输出48种原子动作,由4款机器人执行。执行结果自动回灌到训练管道, 形成感知→推理→执行→回流的完整闭环。

设计原则:① 条件驱动,非任务编程 ② 多模型池,非单一通用模型 ③ 原子技能组合,非端到端黑箱 ④ 数据闭环自进化 ⑤ 边缘-云端协同推理

① 条件输入 Condition Input — 传感器链+信号链 → 编码器汇聚 → DDS查表 📷 视觉 D405 RGB-D 🖐️ 触觉 六维力 F/M 🔧 关节 6轴·位姿 多模态编码适配 传感器→结构化张量 📡 MES SN·工位·BERT ⚡ 安全 急停·SOC 条件编码适配 MES·安全→编码输入 条件编码器 多模态融合 → Condition Vector 适配器融合汇总 · C001-C054 条件驱动推理入口 DDS Skill Dispatch condition_id → model + action_id C001→ACT · C004→VLA-T · C006→SmolVLA C014→GR00T · C039→H-JEPA · C050→Rule 54种条件 · 5模型池 · 48原子动作 API 调用示例 POST /infer/vla-t {condition_id:"C014" sensors:{force_6d: [...],joint_pos:[...]}} → {action_id:"A14"...} ② 模型路由 Model Router ACTAction Chunking · 取料扫码Sys10 · 4060 SmolVLAVLA · 测试AOI目检Sys11 · 4060 ⭐ VLA-T 主力力控VLA · 精密插拔Sys11 · 4060 GR00T N1.7通用机器人 · 复杂泛化Sys2 · 4090 · 6.5G H-JEPA zFlow预测编码 · 透镜耦合Sys1 · 4090 · 11MB ③ 动作解码 Action Decoder 动作解码器潜空间z → action_id查表 A01-A30 取料→FQC全流程操作动作 A31-A42 透镜·耦合·焊接光引擎精密操作 A43-A48 眼图·FQC模块组装终检 S01-S04 安全急停·抓败·力限 ④ 执行层 Execution 🤖 Orin Nano · Sys0ROS2 · 实时控制 1-5ms Z700F · L2精密插拔 · SR5-C Z100L · L3轮式双臂·搬运 Z700+AOI · L2目检·显微镜 Z700 · L4轮式双臂·巡检 📊 结果回灌 DDS成功/失败/耗时/力曲线 → dds.db ⑤ 数据闭环 Data Loop Orin 采集MCAP·npz · 300帧/次 MAC 转发HTTP心跳5s·隧道穿透 4090 训练H-JEPA·GR00T·100iter 模型部署权重→Sys1/Sys2 DDS 同步更新条件→模型映射优化 训练回流 端到端闭环:📷传感器 → 🔄多模态适配 → 🔀条件编码 → 🎯DDS Dispatch → 🧠多模型池 → ⚡动作解码 → 🤖机器人执行 → 📊结果回灌 → 🔄训练更新
DDS 五阶段端到端推理管线 · 点击下方按钮在 draw.io 中编辑完整版
54
条件场景
5
模型池
48
原子动作
2
编码适配器
4
安全动作
4
机器人型号
<5ms
本地推理延迟
242
原子技能
PHASE 1

条件输入

5路信号分两路并行处理:传感器数据链(视觉→触觉→关节)经多模态编码适配器转为结构化张量;系统信号链(MES→安全)经条件编码适配器转为编码输入。两路在条件编码器汇聚——多模态融合生成Condition Vector(C001-C054),驱动DDS Lookup查表完成条件→模型+动作的端到端映射。
RGB-D 128²六维力 F/M关节7维MES/源自技能安全状态多模态编码适配条件编码适配ROS2 Topic
PHASE 2

模型路由

DDS Skill Dispatch 根据condition_id查表,将推理请求路由到最优模型。不同模型运行在不同计算节点上——Sys1(4060)处理本地低延迟推理,Sys2(4090)通过ECS隧道处理大模型推理。
ACT 取料SmolVLA AOIVLA-T 力控GR00T 泛化H-JEPA 精密gRPC/HTTP
PHASE 3

动作解码

模型输出的潜空间表征或action chunk,通过动作解码器映射为具体的机器人指令。48种原子动作(A01-A48)覆盖从取料到FQC的全流程,4种安全动作(S01-S04)处理异常情况。
A01-A30 产线A31-A42 光引擎A43-A48 终检S01-S04 安全ROS2 Trajectory
PHASE 4

执行层

Orin Nano(Sys0)作为边缘计算节点,接收ROS2 Action指令,实时控制4款机器人执行操作。执行结果(成功/失败、耗时、力曲线)实时回灌到DDS数据库。
Z700F 插拔Z100L 搬运Z700+AOI 目检Z700 巡检Orin NanoROS2 Control
PHASE 5

数据闭环

执行数据通过Orin采集(MCAP/npz) → MAC转发(HTTP心跳穿透ECS隧道) → 4090训练(H-JEPA/GR00T) → 模型部署到Sys1/Sys2 → DDS映射表更新,形成持续进化的自学习闭环。
MCAP采集隧道穿透4090训练权重部署映射优化

🔀 DDS Skill Dispatch 映射表(部分示例)

条件ID场景描述→ 模型运行节点→ 动作典型延迟
C001料盘取料·视觉定位ACTSys10 · 4060A01-A04<5ms
C004力控插入·400G力反馈VLA-T ⭐Sys11 · 4060A07-A10<5ms
C006BERT测试仓·AOI目检SmolVLASys11 · 4060A15-A18<5ms
C014400G光口·力控插拔GR00T N1.7Sys2 · 4090A22-A25~280ms
C039透镜对准·亚微米耦合H-JEPA zFlowSys1 · 4090A35-A38<5ms
C050异常检测·安全停止Rule EngineSys0 · OrinS01-S04<1ms

🔄 数据闭环流程

Orin 采集
MCAP/npz
MAC 转发
HTTP心跳5s
4090 训练
H-JEPA/GR00T
模型部署
Sys1/Sys2
DDS 更新
映射表优化
执行数据自动回流到训练管道 → 每100次迭代更新模型权重 → 部署到推理节点 → DDS条件-模型映射表自动优化。
形成「执行越多、模型越准、映射越优」的正向飞轮。