# xjlab-gpu-evaluation-suite

**Repository Path**: Jay_0x1c/xjlab-gpu-evaluation-suite

## Basic Information

- **Project Name**: xjlab-gpu-evaluation-suite
- **Description**: AI芯片推理任务测试评估工具

- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: develop
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-01-15
- **Last Updated**: 2026-01-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# xjlab_benchmark

AI芯片推理任务测试评估工具

## 功能介绍

xjlab_benchmark是一个用于测试和评估不同厂商AI芯片推理任务性能和功耗的工具。它分为四个核心模块：

- **基本信息模块**：获取平台和显卡的基本静态信息
- **功耗测试模块**：测试AI芯片在推理任务中的功耗
- **性能测试模块**：测试AI芯片在推理任务中的性能
- **后处理模块**：处理测试数据，生成测评报告

## 安装方法

### 从源码安装

1. 克隆或下载项目源码
2. 进入项目根目录
3. 使用pip安装：

```bash
pip3 install -e .
```

## 使用方法

### 命令行运行

安装完成后，可以直接在命令行中运行：

```bash
xjlab-benchmark
```

### 作为Python包导入

```python
from xjlab_benchmark.integrated_evaluation import integrated_evaluation

if __name__ == "__main__":
    integrated_evaluation()
```

## 项目结构

```
xjlab_benchmark/
├── basic_info/               # 基本信息模块
├── power_measure/            # 功耗测试模块
├── performance_test/         # 性能测试模块
├── post_processing/          # 后处理模块
├── integrated_evaluation.py  # 主程序入口
└── __init__.py               # 包初始化文件

doc/                          # 设计文档目录
tests/                        # 单元测试目录
examples/                     # 示例脚本目录
pyproject.toml                # 项目配置文件
README.md                     # 项目说明文档
```

## 模块说明

### 基本信息模块

获取平台和显卡的基本静态信息，包括操作系统、CPU、内存、显卡型号、驱动版本等。

### 功耗测试模块

测试AI芯片在推理任务执行期间的功耗情况，包括实时功耗数据采集、平均功耗计算、峰值功耗记录等。

### 性能测试模块

测试AI芯片在推理任务中的性能表现，包括推理延迟、吞吐量、准确率、内存占用等。

### 后处理模块

处理测试数据，生成综合测评报告，包括数据格式化、统计分析、图表生成、报告输出等。

## 运行流程

1. 程序启动时，首先调用基本信息模块，获取平台和显卡的基本静态信息。
2. 创建两个异步执行的进程，分别负责性能测试和功耗测试。
3. 性能测试模块先启动，启动时发出`start`信号，通知功耗测试模块开始测试。
4. 性能测试模块执行完成后，发出`end`信号，通知功耗测试模块停止测试。
5. 所有测试完成后，将三个模块的输出变量提供给后处理模块，生成测评报告。

## 技术栈

- Python 3.7+
- multiprocessing（进程管理）
- time（时间管理）

## 后续扩展计划

1. 实现各模块的具体功能
2. 支持多种AI模型的测试
3. 支持多种厂商显卡的适配
4. 优化测试精度和效率
5. 增强报告生成功能

## 许可证

MIT License