如何在linux ubuntu 下安装scapy pyx

最近在学习爬虫，早就听说Python写爬虫极爽（貌似pythoner说python都爽，不过也确实，python的类库非常丰富，不用重复造轮子），还有一个强大的框架Scrapy，于是决定尝试一下。

要想使用Scrapy第一件事，当然是安装Scrapy，尝试了Windows和Ubuntu的安装，本文先讲一下 Ubuntu的安装，比Windows的安装简单太多了。抽时间也会详细介绍一下怎么在Windows下进行安装。

官方介绍，在安装Scrapy前需要安装一系列的依赖.

* Python 2.7： Scrapy是Python框架，当然要先安装Python ，不过由于Scrapy暂时只支持 Python2.7，因此首先确保你安装的是Python 2.7

* lxml：大多数Linux发行版自带了lxml

* OpenSSL：除了windows之外的系统都已经提供

* Python Package: pip and setuptools. 由于现在pip依赖setuptools,所以安装pip会自动安装setuptools

有上面的依赖可知，在非windows的环境下安装 Scrapy的相关依赖是比较简单的，只用安装pip即可。Scrapy使用pip完成安装。

检查Scrapy依赖是否安装

你可能会不放心自己的电脑是否已经安装了，上面说的已经存在的依赖，那么你可以使用下面的方法检查一下，本文使用的是Ubuntu 14.04。

检查Python的版本

$ python --version

如果看到下面的输出，说明Python的环境已经安装，我这里显示的是Python 2.7.6，版本也是2.7的满足要求。如果没有出现下面的信息，那么请读者自行百度安装Python，本文不介绍Python的安装（网上一搜一堆）。

检查lxml和OpenSSL是否安装

假设已经安装了Python，在控制台输入python，进入Python的交互环境。

然后分别输入import lxml和import OpenSSL如果没有报错，说明两个依赖都已经安装。

安装python-dev和libevent

python-dev是linux上开发python比较重要的工具，以下的情况你需要安装

* 你需要自己安装一个源外的python类库, 而这个类库内含需要编译的调用python api的c/c++文件

* 你自己写的一个程序编译需要链接libpythonXX.(a|so)

libevent是一个时间出发的高性能的网络库，很多框架的底层都使用了libevent

上面两个库是需要安装的，不然后面后报错。使用下面的指令安装

$sudo apt-get install python-dev

$sudo apt-get install libevent-dev

安装pip

因为Scrapy可以使用pip方便的安装，因此我们需要先安装pip，可以使用下面的指令安装pip

$ sudo apt-get install python-pip

使用pip安装Scrapy

使用下面的指令安装Scrapy。

$ sudo pip install scrapy

记住一定要获得root权限，否则会出现下面的错误。

至此scrapy安装完成，使用下面的命令检查Scrapy是否安装成功。

$ scrapy version

显示如下结果说明安装成功，此处的安装版本是1.02

做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。

然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常被称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。

---