Lerobot

这篇不再只是介绍 Lerobot 项目本身，而是整理相对社区主线的主要工程贡献。

Lerobot 原本更偏向面向机器人数据集、训练与推理的通用框架；这里的扩展重点，则集中在 FR3 实机、数采闭环、训练推理、相机接入和仿真验证 等真实工程问题。

一句话概括：

这些贡献的核心，不是简单增加若干功能点，而是补齐一条面向 FR3 的工程闭环。

主要贡献

1. FR3 实机闭环

这是最核心的一组增量。

• 增加了 Franka Research 3 的最小接入能力
• 补齐了 teleop、hardware smoke、move_to_start、runtime 这类实机调试工具
• 对 OTG、命令滞后、前一帧命令契约等问题做了专门诊断
• 把 FR3、本体夹爪和外接夹爪之间的联动链路往可验证方向收紧

其价值不在于“额外支持了一种 robot”，而在于使 Lerobot 在 FR3 上具备了真实实验所需的基础工程骨架。

2. 数采、回放和坐标对齐

相对社区主线，数据链路补齐了大量实战中反复暴露的问题：

• ee2ee 动作记录和配套修正
• FR3 DAS replay 的真实回放与运行时回放工具
• episode 起始稳定、reset 节奏、SpaceMouse idle gating 等录制细节
• dataset viz 远程查看、时间戳锚定和 episode 切换能力
• SLAM frame contract、四元数约定、变换链修正等坐标对齐问题

其结果是：采集、回放、排查和复现实验不再高度依赖手工经验，而是逐步收敛成可重复的工具链。

3. 触觉接入和 ACT 训练链路

除视觉链路外，触觉 + policy 也被向前推进了一步：

• 增加了 Paxini Gen2 Omega 触觉接入
• 给 FR3 的 ACT 增加了触觉编码相关支持
• 补了 mask2ee、partial xyz masking、qoff、quantile normalization 等实验配置
• 增加了训练、推理和离线分析配套工具，而不是只留一份 config

这部分工作并不是简单在“模型列表”中增加一项，而是把 policy config -> dataset -> infer runtime -> replay analysis 这条链路做实。

4. Hikrobot 相机和多模态采集

另一条明确的贡献线，是将 Hikrobot 相机支持从零散脚本推进成可用模块：

• 集成了相机驱动与配置
• 增加了 GigE 发现、录制、静态配置导出工具
• 修了设备采集时间戳可视化问题
• 增加了 handheld multimodal capture 支持

这说明仓库目标已经不只是“跑标准 dataset”，而是开始承接更接近现场形态的观测接入和录制工作。

5. Docker 和部署环境

docker/ 和工具链层面也补齐了大量工程工作：

• 增加了用户态和内部态的 Dockerfile
• 增加了训练和主机部署相关的 compose 配置
• 把 FR3 runtime、native toolchain、host env setup 收到同一套工作流里
• 连同 Hikrobot 依赖和实机工具一起纳入部署环境

其价值在于：训练、推理、采集和相机依赖不再需要在每台机器上重新手工配置。

6. MuJoCo 仿真和可观测调试

仿真侧的工作也不只是“能 replay 一次”：

• 增加了 fr3_mujoco 环境和 teleop 支持
• 增加了 sim bridge、viewer teleop 和 replay 校验工具
• 增加了多视角相机渲染
• 增加了基于 HTTP MJPEG stream 的仿真画面输出
• 补了 env 和 script 级别的测试

这使仿真不再只是离线看轨迹，而更接近实机前的验证环境。

整体取向

如果只看社区主线，Lerobot 更像一个通用开源框架。

如果只看这些扩展，整体取向更偏向：

1. 把实机控制、数采、回放、训练、推理和仿真连成闭环。
2. 把触觉、工业相机和 runtime 工具带入同一套工作流。
3. 让问题可以被复现、诊断和逐步自动化，而不是靠一次次手工调试。

工程价值

这部分工作的价值，不在于“比主线多了多少功能点”，而在于开始沉淀出一条真实机器人项目会反复用到的底层工程链路：

• 先把设备接进来
• 再把数据录下来
• 再把 replay 和坐标关系对齐
• 再把训练与推理接上
• 最后用仿真和实机一起做验证

这也是这部分 Lerobot 扩展持续维护的核心原因。