Python爬虫之Scrapy

Python爬虫之Scrapy

• 1、概念
• 2、工作流程
• • 2.1 基本爬虫流程
  • 2.2 基本爬虫模块关系
  • 2.3 Scrapy工作流程
• 3、Scrapy中每个模块的具体作用

1、概念

Scrapy是一个Python编写的开源网络爬虫框架，它是一个被设计用于爬取网络数据、提取结构性数据的框架。

Scrapy 使用了Twisted异步网络框架，可以加快我们的下载速度。

官方文档地址：Scrapy

2、工作流程

• 爬虫中起始的url构造成request对象 —> 爬虫中间件 —> 引擎 —> 调度器
• 调度器把request —> 引擎 —> 下载中间件 —> 下载器
• 下载器发送请求，获取response响应 —> 下载中间件 —> 引擎 —> 爬虫中间件 —> 爬虫
• 爬虫提取url地址，组装成request对象 —> 爬虫中间件 —> 引擎 —> 调度器，重复步骤2
• 爬虫提取数据 —> 引擎 —> 管道处理和保存数据

2.1 基本爬虫流程

2.2 基本爬虫模块关系

2.3 Scrapy工作流程

3、Scrapy中每个模块的具体作用