# bert-classification-moe

**Repository Path**: ykallan/bert-classification-moe

## Basic Information

- **Project Name**: bert-classification-moe
- **Description**: 使用混合专家模型搭配bert预训练模型实现文本分类
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2024-06-01
- **Last Updated**: 2024-09-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# bert-classification-moe

#### 介绍
使用混合专家模型搭配bert预训练模型实现文本分类

#### 初步规划
- 1、专家模型(Expert)：使用bert或类bert模型进行文本分类
- 2、门控模型(Gating)：线性全连接层，后续可以更换注意力层
- 3、混合专家模型(Moe)：使用门控网络判断使用哪些专家模型，并且进行调用推理