# dual_arm_teleop

**Repository Path**: sunqiangAAA/dual_arm_teleop

## Basic Information

- **Project Name**: dual_arm_teleop
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-01-19
- **Last Updated**: 2026-02-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README



# 双臂遥操作系统 (Dual Arm Teleoperation)

基于 ALOHA 硬件平台和 MediaPipe 手部追踪技术的双臂遥操作系统。

## 概述

本项目实现了一种双手遥操作系统，通过实时手部追踪来控制两台 ALOHA 机械臂的运动。该系统利用 MediaPipe 进行手势识别，将人手动作实时映射到机器人执行器，实现自然的人机交互。

### 主要特性

- **双手同时控制**：独立追踪控制左右机械臂
- **实时手部追踪**：基于 MediaPipe 的高精度手势识别
- **平滑运动滤波**：使用 One Euro Filter 减少抖动
- **姿态校准**：手部方向自动调优
- **视觉校准**：手-眼标定支持

## 项目结构

```
dual_arm_teleop/
├── aloha/                      # ALOHA 机器人模型与描述
│   ├── aloha.xml              # MJCF 机器人模型
│   ├── scene.xml              # 仿真场景配置
│   ├── assets/                # 3D 模型文件 (STL/OBJ)
│   │   ├── vx300s_*.stl       # 机械臂各关节模型
│   │   ├── extrusion_*.stl    # 结构件模型
│   │   └── ...
│   └── aloha.png              # 机器人预览图
│
├── teleop/                     # 遥操作系统核心代码
│   ├── teleop.py              # 主遥控制程序
│   ├── rt.py                  # 机器人接口层 (ROS/MuJoCo)
│   ├── vision.py              # 手部追踪模块
│   ├── calibration.py         # 视觉标定程序
│   ├── rotation.py            # 手部姿态调优
│   └── models/
│       └── hand_landmarker.task   # MediaPipe 手部模型
│
├── utils/                      # 通用工具
│   └── one_euro_filter.py     # 一阶低通滤波算法
│
└── __init__.py
```

## 依赖项

- Python 3.10+
- MediaPipe (手部追踪)
- NumPy
- SciPy
- MuJoCo (仿真环境)
- ROS (如需真实机器人控制)

## 安装

```bash
# 克隆仓库
git clone https://gitee.com/sunqiangAAA/dual_arm_teleop.git
cd dual_arm_teleop

# 安装 Python 依赖
pip install mediapipe numpy scipy

# 安装 MuJoCo (如需仿真)
# 参考: https://mujoco.org/download/
```

## 使用方法

### 运行手部追踪遥控制

```bash
python -m teleop.teleop
```

### 运行视觉标定

```bash
python -m teleop.calibration
```

### 调整手部姿态参数

```bash
python -m teleop.rotation
```

### 机器人接口测试

```bash
python -m teleop.rt
```

## 模块说明

### vision.py - 手部追踪

`HandTracker` 类负责：
- 实时检测手部关键点
- 判断手势状态（开/合）
- 计算目标位置和方向

### one_euro_filter.py - 运动滤波

`OneEuroFilter` 提供低延迟平滑滤波：
- 可配置截止频率和增益
- 适用于高速运动场景

### rotation.py - 姿态调优

`HandOrientationTuner` 用于：
- 校准手部与机器人末端执行器的姿态映射

## ALOHA 机器人

ALOHA 是一个开源的低成本双臂机器人平台：
- 关节：Interbotix VX300s 机械臂 ×2
- 夹爪：平行两指夹爪
- 相机：D405 深度相机

详见 [aloha/README.md](aloha/README.md)。

## 参考资料

- [ALOHA 项目主页](https://aloha-unofficial.github.io/)
- [MediaPipe Hand Tracking](https://developers.google.com/mediapipe/solutions/vision/hand_landmarker)
- [Interbotix VX300s 文档](https://docs.trossenrobotics.com/interbotix_xsarms/)

## 许可证

本项目继承 ALOHA 的 MIT 许可证。详见 [aloha/LICENSE](aloha/LICENSE)。