# scrapy_spiders

**Repository Path**: xianyang_normal_university/scrapy_spiders

## Basic Information

- **Project Name**: scrapy_spiders
- **Description**: 使用scrapy框架爬各种网站。--Gnosis. start. 2019-3-5
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2019-03-05
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# scrapy_spiders

#### 介绍
使用Scrapy框架爬各种网站。--Gnosis<gaojing1996@vip.qq.com> 2019年3月5日

#### 软件架构
使用Scrapy框架


#### 安装教程

1. 本项目基于 python3.7 开发。

2. 需要安装Scrapy框架。

3. Windows系统安装Scrapy框架报错，先行安装 lib\Twisted-18.9.0-cp37-cp37m-win32.whl。

4. 提示 No module named 'win32api' 错误，需要 pip install pypiwin32 安装 pypiwin32

#### 爬取网站目录

1. [博雅特产网] http://shop.bytravel.cn/ 

    原来使用 request 写过相同功能爬虫，https://gitee.com/accessgnosis/xl-ee-specialty.git
    
    太low，使用 Scrapy 框架爬取，效率提升 200% ，并且不容易被网站ban。

#### 参与贡献

###### 公开项目，欢迎大家各种contribute

1.