# mediapipe-python-sample

**Repository Path**: sxupgljd/mediapipe-python-sample

## Basic Information

- **Project Name**: mediapipe-python-sample
- **Description**: No description available
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-03-24
- **Last Updated**: 2025-03-24

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

> [!IMPORTANT]
> MediaPipe 旧版解决方案的支持已于2023年3月1日结束。<br>
> 旧版解决方案的示例已移至 [_legacy](_legacy) 目录。<br>
> MediaPipe 保持向后兼容性，当前包仍可运行旧版解决方案的示例。<br>

# mediapipe-python-sample
这是 [google-ai-edge/mediapipe](https://github.com/google-ai-edge/mediapipe) Python包的示例脚本集。<br>
截至2024/9/1，已为以下15个Python实现的功能提供了示例：
* [物体检测（Object Detection）](https://ai.google.dev/edge/mediapipe/solutions/vision/object_detector?hl=ja)
* [图像分类（Image Classification）](https://ai.google.dev/mediapipe/solutions/vision/image_classifier?hl=ja)
* [图像分割（Image Segmentation）](https://ai.google.dev/mediapipe/solutions/vision/image_segmenter?hl=ja)
* [交互式分割（Interactive segmentation）](https://ai.google.dev/mediapipe/solutions/vision/interactive_segmenter?hl=ja)
* [手部检测（Hand Landmark detection）](https://ai.google.dev/mediapipe/solutions/vision/hand_landmarker?hl=ja)
* [手势识别（Gesture Recognition）](https://ai.google.dev/mediapipe/solutions/vision/gesture_recognizer?hl=ja)
* [图像嵌入表示（Image Embedding）](https://ai.google.dev/mediapipe/solutions/vision/image_embedder?hl=ja)
* [人脸检测（Face Detection）](https://ai.google.dev/mediapipe/solutions/vision/face_detector?hl=ja)
* [人脸关键点检测（Face Landmark Detection）](https://ai.google.dev/mediapipe/solutions/vision/face_landmarker?hl=ja)
* [人脸风格化（Face Stylization）](https://ai.google.dev/mediapipe/solutions/vision/face_stylizer?hl=ja)
* [姿态估计（Pose Landmark Detection）](https://ai.google.dev/mediapipe/solutions/vision/pose_landmarker?hl=ja)
* [文本分类（Text Classification）](https://ai.google.dev/mediapipe/solutions/text/text_classifier?hl=ja)
* [文本嵌入表示（Text Embedding）](https://ai.google.dev/mediapipe/solutions/text/text_embedder?hl=ja)
* [文本语言检测（Language Detector）](https://ai.google.dev/mediapipe/solutions/text/language_detector?hl=ja)
* [音频分类（Audio Classification）](https://ai.google.dev/mediapipe/solutions/audio/audio_classifier?hl=ja)

# 环境要求
* mediapipe 0.10.14 或更高版本
* opencv-python 4.10.0.84 或更高版本
* tqdm 4.66.5 或更高版本 ※用于下载权重文件
* requests 2.32.3 或更高版本 ※用于下载权重文件
* scipy 1.14.1 或更高版本 ※仅在运行音频分类（Audio Classification）示例时需要
* numpy 1.26.4 ※NumPy需要1.x版本

```bash
pip install -r requirements.txt
```

# 演示
以下是运行演示的方法。

### 物体检测（Object Detection）
```bash
python sample_object_detection.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --model<br>
使用模型[0, 1, 2, 3, 4, 5, 6, 7] ※如果model目录中没有目标模型的权重文件则下载<br>
使用[COCO数据集](https://cocodataset.org/#home)训练的权重，支持的标签见[labelmap.txt](https://storage.googleapis.com/mediapipe-tasks/object_detector/labelmap.txt)<br>
默认：0<br>
  * 0:EfficientDet-Lite0(int8)
  * 1:EfficientDet-Lite0(float 16)
  * 2:EfficientDet-Lite0(float 32)
  * 3:EfficientDet-Lite2(int8)
  * 4:EfficientDet-Lite2(float 16)
  * 5:EfficientDet-Lite2(float 32)
  * 6:SSDMobileNet-V2(int8)
  * 7:SSDMobileNet-V2(float 32)
* --score_threshold<br>
分数阈值<br>
默认：0.5
</details>
<img src="https://github.com/user-attachments/assets/049776c6-bf7c-47df-982b-8d2e21e1f322" loading="lazy" width="250px">

### 图像分类（Image Classification）
```bash
python sample_image_classification.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --model<br>
使用模型[0, 1, 2, 3] ※如果model目录中没有目标模型的权重文件则下载<br>
使用[ImageNet](https://www.image-net.org/)训练的权重，支持的标签见[labels.txt](https://storage.googleapis.com/mediapipe-tasks/image_classifier/labels.txt)<br>
默认：0<br>
  * 0:EfficientNet-Lite0(int8)
  * 1:EfficientNet-Lite0(float 32)
  * 2:EfficientNet-Lite2(int8)
  * 3:EfficientNet-Lite2(float 32)
* --max_results<br>
结果输出数量<br>
默认：5
</details>
<img src="https://github.com/user-attachments/assets/78b2c7ef-83b9-47e3-9849-70d16bd7f241" loading="lazy" width="250px">

### 图像分割（Image Segmentation）
```bash
python sample_image_segmentation.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --model<br>
使用模型[0, 1, 2, 3, 4] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:SelfieSegmenter(square)
  * 1:SelfieSegmenter(landscape)
  * 2:HairSegmenter
  * 3:SelfieMulticlass(256x256)
  * 4:DeepLab-V3
</details>
<img src="https://github.com/user-attachments/assets/2033ba3b-3a66-437e-99d8-61fb38984b0b" loading="lazy" width="250px"> <img src="https://github.com/user-attachments/assets/93881e8c-cb19-4e14-b2f5-38bc061e481f" loading="lazy" width="250px"> <img src="https://github.com/user-attachments/assets/572f94d4-cbbc-4813-a408-f23f25abc1f9" loading="lazy" width="250px">

### 交互式分割（Interactive segmentation）
```bash
python sample_interactive_image_segmentation.py
```
<details>
<summary>命令行参数选项</summary>
 
* --image<br>
指定图像路径<br>
默认：asset/hedgehog01.jpg
* --model<br>
使用模型[0] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:MagicTouch
</details>
<img src="https://github.com/user-attachments/assets/04f987b2-67e0-49f1-ad78-c5086d1bb6d4" loading="lazy" width="250px">

### 手部检测（Hand Landmark detection）
```bash
python sample_hand_landmarks_detection.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --unuse_mirror<br>
不使用镜像显示<br>
默认：未指定
* --model<br>
使用模型[0] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:HandLandmarker (full)
* --num_hands<br>
检测数量<br>
默认：2
* --use_world_landmark<br>
显示世界坐标<br>
默认：未指定
</details>
<img src="https://github.com/user-attachments/assets/0bc2d091-6eae-4029-9a4c-44ea151980fb" loading="lazy" width="250px"> <img src="https://github.com/user-attachments/assets/9946c203-93e9-4fac-9979-e1a752f67dc4" loading="lazy" width="250px">

### 手势识别（Gesture Recognition）
```bash
python sample_hand_gesture_recognition.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --unuse_mirror<br>
不使用镜像显示<br>
默认：未指定
* --model<br>
使用模型[0] ※如果model目录中没有目标模型的权重文件则下载<br>
可识别的手势包括"Closed fist"、"Open palm"、"Pointing up"、"Thumbs down"、"Thumbs up"、"Victory"、"Love"、"Unknown"<br>
默认：0<br>
  * 0:HandGestureClassifier
</details>
<img src="https://github.com/user-attachments/assets/844dd2cf-3bf7-4803-8782-8fc2eb9bc3dc" loading="lazy" width="250px">

### 图像嵌入表示（Image Embedding）
```bash
python sample_image_embedding.py
```
<details>
<summary>命令行参数选项</summary>
 
* --image01<br>
指定图像路径1<br>
默认：asset/hedgehog01.jpg
* --image02<br>
指定图像路径2<br>
默认：asset/hedgehog02.jpg
* --model<br>
使用模型[0, 1] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:MobileNet-V3 (small)
  * 1:MobileNet-V3 (large)
* --unuse_l2_normalize<br>
不对特征向量进行L2范数归一化<br>
默认：未指定
* --unuse_quantize<br>
不对特征向量进行标量量化转换为字节<br>
默认：未指定
</details>
<img src="https://github.com/user-attachments/assets/58fea0f1-83fa-448c-a36e-e9c760669a61" loading="lazy" width="500px"><br>
<img src="https://github.com/user-attachments/assets/d1d0718c-4bf7-4151-ab51-bdb4806a264e" loading="lazy" width="500px"><br><br>
<img src="https://github.com/user-attachments/assets/c1e5a632-2000-4949-9914-feeafac2ae17" loading="lazy" width="500px"><br>
<img src="https://github.com/user-attachments/assets/7e1e788b-dd01-4521-bb54-fbddd2b698e3" loading="lazy" width="500px">

### 人脸检测（Face Detection）
```bash
python sample_face_landmark_detection.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --model<br>
使用模型[0] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:BlazeFace (short-range)
</details>
<img src="https://github.com/user-attachments/assets/10b79e31-7d0e-4d1e-9552-34b6ea9aa419" loading="lazy" width="250px">

### 人脸关键点检测（Face Landmark Detection）
```bash
python sample_face_landmark_detection.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --model<br>
使用模型[0] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:FaceLandscapeer
* --num_faces<br>
检测数量<br>
默认：1
* --unuse_output_face_blendshapes<br>
不输出面部混合形状<br>
默认：未指定
* --unuse_output_facial_transformation_matrixes<br>
不输出面部变换矩阵<br>
默认：未指定
</details>
<img src="https://github.com/user-attachments/assets/e204f9f2-2284-4f5e-b26d-b846fc01e529" loading="lazy" width="250px">

### 人脸风格化（Face Stylization）
```bash
python sample_face_stylization.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --model<br>
使用模型[0, 1, 2] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:Color sketch
  * 1:Color ink
  * 2:Oil painting
</details>
<img src="https://github.com/user-attachments/assets/de975b72-7dab-4fe6-800e-99d68a42e939" loading="lazy" width="250px"> <img src="https://github.com/user-attachments/assets/3d224686-948a-48c2-bacb-52aa8285719e" loading="lazy" width="250px"> <img src="https://github.com/user-attachments/assets/9483b711-5c1c-40ca-8ae4-6e8f6beabb74" loading="lazy" width="250px">

### 姿态估计（Pose Landmark Detection）
```bash
python sample_pose_landmark_detection.py
```
<details>
<summary>命令行参数选项</summary>
 
* --device<br>
指定摄像头设备号<br>
默认：0
* --video<br>
指定视频路径 ※如果指定则优先于摄像头<br>
默认：None
* --width<br>
摄像头捕获时的宽度<br>
默认：960
* --height<br>
摄像头捕获时的高度<br>
默认：540
* --unuse_mirror<br>
不使用镜像显示<br>
默认：未指定
* --model<br>
使用模型[0, 1, 2] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:Pose landmarker(lite)
  * 1:Pose landmarker(Full)
  * 2:Pose landmarker(Heavy)
* --use_output_segmentation_masks<br>
执行分割<br>
默认：未指定
* --use_world_landmark<br>
显示世界坐标<br>
默认：未指定
</details>
<img src="https://github.com/user-attachments/assets/54b752b9-8374-41d5-bd48-4cf76f803f18" loading="lazy" width="250px"> <img src="https://github.com/user-attachments/assets/9325e6e5-52df-4e8a-9e13-8c6d00d7ae37" loading="lazy" width="250px"> <img src="https://github.com/user-attachments/assets/ec001fa0-3042-4fb6-a653-633403e93691" loading="lazy" width="250px">

### 文本分类（Text Classification）
```bash
python sample_text_classification.py
```
<details>
<summary>命令行参数选项</summary>
 
* --input_text<br>
输入文本<br>
默认：I'm looking forward to what will come next.
* --model<br>
使用模型[0, 1] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:BERT-classifier
  * 1:Average word embedding
</details>
<img src="https://github.com/user-attachments/assets/d40b6a51-b50a-4d5b-879f-0c5bfc1e62e5" loading="lazy" width="500px">

### 文本嵌入表示（Text Embedding）
```bash
python sample_text_embedding.py
```
<details>
<summary>命令行参数选项</summary>
 
* --input_text01<br>
输入文本1<br>
默认：I'm feeling so good
* --input_text02<br>
输入文本2<br>
默认：I'm okay I guess
* --model<br>
使用模型[0] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:Universal Sentence Encoder
* --unuse_l2_normalize<br>
不对特征向量进行L2范数归一化<br>
默认：未指定
* --use_quantize<br>
对特征向量进行标量量化转换为字节<br>
默认：未指定
</details>
<img src="https://github.com/user-attachments/assets/6c82d941-98f3-4d91-8b9d-d2d7439de47e" loading="lazy" width="500px">

### 文本语言检测（Language Detector）
```bash
python sample_text_language_detection.py
```
<details>
<summary>命令行参数选项</summary>
 
* --input_text<br>
输入文本<br>
默认：分久必合合久必分
* --model<br>
使用模型[0, 1] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:Language Detector
</details>
<img src="https://github.com/user-attachments/assets/537e341e-9534-4b4b-9204-d7c0ac31af21" loading="lazy" width="500px">

### 音频分类（Audio Classification）
```bash
python sample_audio_classification.py
```
<details>
<summary>命令行参数选项</summary>
 
* --input_audio<br>
输入音频文件路径<br>
默认：asset/hyakuninisshu_02.wav
* --model<br>
使用模型[0] ※如果model目录中没有目标模型的权重文件则下载<br>
默认：0<br>
  * 0:YamNet
* --max_results<br>
结果输出数量<br>
默认：5
</details>
<img src="https://github.com/user-attachments/assets/a0f42d85-15e5-490f-b305-c99d063251af" loading="lazy" width="500px">

# 参考
* [google-ai-edge/mediapipe](https://github.com/google-ai-edge/mediapipe)

# 作者
高橋かずひと(https://twitter.com/KzhtTkhs)
 
# 许可证
mediapipe-python-sample 使用 [Apache-2.0 许可证](LICENSE)。

# 图片、视频、音频许可证
示例中使用的图片等资源来自以下来源：
* [免费素材网站](https://www.pakutaso.com)：《带刺的仙人掌和刺猬》(https://www.pakutaso.com/20190257050post-19488.html)
* [免费素材网站](https://www.pakutaso.com)：《钻进人类鞋子的刺猬》(https://www.pakutaso.com/20171041289post-13677.html)
* [免费素材网站](https://www.pakutaso.com)：《完全藏在鞋子里的刺猬》(https://www.pakutaso.com/20171039289post-13676.html)
* [NHK创意库](https://www.nhk.or.jp/archives/creative/)：《猫咖啡馆的猫（3）》(https://www2.nhk.or.jp/archives/movies/?id=D0002161325_00000)
* [NHK创意库](https://www.nhk.or.jp/archives/creative/)：《寅次郎雕像特写》(https://www2.nhk.or.jp/archives/movies/?id=D0002022189_00000)
* [NHK创意库](https://www.nhk.or.jp/archives/creative/)：《音频 百人一首 二》(https://www2.nhk.or.jp/archives/movies/?id=D0002110102_00000)