# irises.spider

**Repository Path**: theirises/irises.spider

## Basic Information

- **Project Name**: irises.spider
- **Description**: 一些入门级爬虫案例与教程
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-07-24
- **Last Updated**: 2022-10-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# irises.spider

#### Description
一些入门级爬虫案例与教程



#### 文件夹目录结构

##### 1.爬虫基础.md

​	爬虫相关基础知识（尚在进一步补充之中）

##### 2.学生时代的小玩意

​	以前写过或者和室友整的的一些东西...不确定现在还好不好用，可能也会存在一些问题，效率不高、代码冗长可读性差等。不过思路还是可以参考一下的...

##### 3.异步相关

​	异步爬虫一些相关的知识和案例，目前到多线程或单线程协程爬虫进度，后续可能会进一步添加更优质的案例代码，目前的例子有些简单

- **threadpool-spieder.py**

  多线程爬虫-梨视频下载案例，涉及知识：ajax请求与json数据、xpath与正则、多线程异步爬虫等

- **asyncioSpider.py**

  协程异步爬虫-多图片通过协程异步并发下载的简单示例，与同步进行比较，涉及：aiohttp与asyncio

- **asyncioSpiderWithRequests.py**

  协程异步爬虫-同3，但未使用aiohttp，而使用了requests模块的异步与非异步混合模式

- **asyncMysql.py**

  异步操作Mysql