# Automatic-demand-discovery-system

**Repository Path**: narc/automatic-demand-discovery-system

## Basic Information

- **Project Name**: Automatic-demand-discovery-system
- **Description**: 自动需求发掘系统
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-03-19
- **Last Updated**: 2026-03-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 自动需求发掘系统

基于NLP的智能需求分析与提取平台，从多渠道数据源自动发掘用户需求。

## 项目简介

本系统通过爬虫技术从各大平台收集用户反馈、评论、讨论等数据，利用自然语言处理技术进行需求提取、情感分析和分类排序，帮助企业快速发现用户真实需求。

## 核心功能

- **多源数据采集**: 支持从社交媒体、论坛、应用商店等多渠道采集数据
- **智能需求提取**: 基于NLP技术自动识别和提取用户需求
- **情感分析**: 分析用户情感倾向，识别痛点需求
- **需求分类**: 自动分类和优先级排序
- **可视化报告**: 生成直观的需求分析报告

## 项目结构

```
自动需求发掘系统/
├── backend/              # 后端服务
│   ├── api/             # API接口
│   ├── core/            # 核心配置
│   ├── models/          # 数据模型
│   ├── services/        # 业务服务
│   ├── tasks/           # Celery异步任务
│   └── utils/           # 工具函数
├── crawlers/            # 爬虫模块
│   ├── spiders/         # 爬虫脚本
│   ├── middlewares/     # 中间件
│   ├── pipelines/       # 数据处理管道
│   └── items/           # 数据项定义
├── nlp/                 # NLP模块
│   ├── preprocessing/   # 文本预处理
│   ├── extraction/      # 需求提取
│   ├── sentiment/       # 情感分析
│   └── classification/  # 分类排序
├── frontend/            # 前端代码
├── config/              # 配置文件
├── docs/                # 文档
├── tests/               # 测试
└── scripts/             # 脚本
```

## 快速开始

### 环境要求

- Python 3.10+
- PostgreSQL 14+
- Redis 7+

### 安装

1. 克隆项目
```bash
git clone <repository-url>
cd 自动需求发掘系统
```

2. 创建虚拟环境
```bash
python -m venv .venv
source .venv/bin/activate  # Linux/Mac
# 或
.\.venv\Scripts\activate  # Windows
```

3. 安装依赖
```bash
pip install poetry
poetry install
```

4. 配置环境变量
```bash
cp .env.example .env
# 编辑 .env 文件，填入实际配置
```

5. 初始化数据库
```bash
alembic upgrade head
```

### 运行

启动API服务:
```bash
poetry run start-api
# 或
uvicorn backend.api.main:app --reload
```

启动Celery Worker:
```bash
poetry run start-celery-worker
```

## 开发指南

### 代码规范

- 使用 Black 进行代码格式化
- 使用 isort 进行导入排序
- 使用 flake8 进行代码检查
- 使用 mypy 进行类型检查

### 运行测试

```bash
pytest
```

### 生成测试覆盖率报告

```bash
pytest --cov=. --cov-report=html
```

## 技术栈

- **后端框架**: FastAPI
- **数据库**: PostgreSQL + SQLAlchemy
- **缓存/队列**: Redis + Celery
- **爬虫框架**: Scrapy
- **NLP**: Transformers, jieba, scikit-learn
- **深度学习**: PyTorch

## License

MIT License