Python中的爬虫框架有哪些呢_工具

实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？

一般来讲，只有在遇到比较大型的需求时，才会使用Python爬虫框架。这样的做的主要目的，是为了方便管理以及扩展。本文我将向大家推荐十个Python爬虫框架。

1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据选择及提取的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。

2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。

4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。

5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。

6、Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。

7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些 *** 作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试 Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。

9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。

10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。

网络站点爬取

爬取网络站点的库Scrapy – 一个快速高级的屏幕爬取及网页采集框架。cola – 一个分布式爬虫框架。Demiurge – 基于PyQuery 的爬虫微型框架。feedparser – 通用 feed 解析器。Grab – 站点爬取框架。MechanicalSoup – 用于自动和网络站点交互的 Python 库。portia – Scrapy 可视化爬取。pyspider – 一个强大的爬虫系统。RoboBrowser – 一个简单的，Python 风格的库，用来浏览网站，而不需要一个独立安装的浏览器。

交互式解析器

交互式 Python 解析器。

IPython – 功能丰富的工具，非常有效的使用交互式 Python。

bpython- 界面丰富的 Python 解析器。

ptpython – 高级交互式Python解析器，构建于python-prompt-toolkit 之上。

图像处理

用来 *** 作图像的库

pillow – Pillow 是一个更加易用版的 PIL。

hmap – 图像直方图映射。

imgSeek – 一个使用视觉相似性搜索一组集合的项目。

nudepy – 裸体检测。

pyBarcode – 不借助 PIL 库在 Python 程序中生成条形码。

pygram – 类似 Instagram 的图像滤镜。

python-qrcode – 一个纯 Python 实现的二维码生成器。

Quads – 基于四叉树的计算机艺术。

scikit-image – 一个用于（科学）图像处理的 Python 库。

thumbor – 一个小型图像服务，具有剪裁，尺寸重设和翻转功能。

wand – MagickWand的Python 绑定。MagickWand 是 ImageMagick的 C API 。

使用>

requests – 人性化的>

grequests – requests 库 + gevent ，用于异步 >

treq – 类似 requests 的Python API 构建于 Twisted >

urllib3 – 一个具有线程安全连接池，支持文件 post，清晰友好的 >

数据库

Python实现的数据库。

pickleDB – 一个简单，轻量级键值储存数据库。

PipelineDB – 流式 SQL 数据库。

TinyDB – 一个微型的，面向文档型数据库。

ZODB – 一个 Python 原生对象数据库。一个键值和对象图数据库。

Web 框架

全栈 web 框架。

Django – Python 界最流行的 web 框架。

awesome-django系列

Flask – 一个 Python 微型框架。

Pyramid – 一个小巧，快速，接地气的开源Python web 框架。

awesome-pyramid系列

Bottle – 一个快速小巧，轻量级的 WSGI 微型 web 框架。

CherryPy – 一个极简的 Python web 框架，服从 >

TurboGears – 一个可以扩展为全栈解决方案的微型框架。

webpy – 一个 Python 的 web 框架，既简单，又强大。

web2py – 一个全栈 web 框架和平台，专注于简单易用。

Tornado – 一个web 框架和异步网络库。

HTML处理

处理 HTML和XML的库。

BeautifulSoup – 以 Python 风格的方式来对 HTML 或 XML 进行迭代，搜索和修改。

bleach – 一个基于白名单的 HTML 清理和文本链接库。

cssutils – 一个 Python 的 CSS 库。

html5lib – 一个兼容标准的 HTML 文档和片段解析及序列化库。

lxml – 一个非常快速，简单易用，功能齐全的库，用来处理 HTML 和 XML。

MarkupSafe – 为Python 实现 XML/HTML/XHTML 标记安全字符串。

pyquery – 一个解析 HTML 的库，类似 jQuery。

untangle – 将XML文档转换为Python对象，使其可以方便的访问。

xhtml2pdf – HTML/CSS 转 PDF 工具。

xmltodict – 像处理 JSON 一样处理 XML。

游戏开发

超赞的游戏开发库。

Cocos2d – cocos2d 是一个用来开发 2D 游戏，示例和其他图形/交互应用的框架。基于 pyglet。

Panda3D – 由迪士尼开发的 3D 游戏引擎，并由卡内基梅陇娱乐技术中心负责维护。使用C++编写, 针对 Python 进行了完全的封装。

Pygame – Pygame 是一组 Python 模块，用来编写游戏。

PyOgre – Ogre 3D 渲染引擎的 Python 绑定，可以用来开发游戏和仿真程序等任何 3D 应用。

PyOpenGL – OpenGL 的 Python 绑定及其相关 APIs。

PySDL2 – SDL2 库的封装，基于 ctypes。

RenPy – 一个视觉小说（visual novel）引擎。

作对初学者来说，循序渐进是最重要的，我推荐学习 Flask（Welcome | Flask (A Python Microframework)）

Flask 很轻，花很少的成本就能够开发一个简单的网站。非常适合初学者学习。

Flask 框架学会以后，可以考虑学习插件的使用。例如使用 WTForm + Flask-WTForm 来验证表单数据，用 SQLAlchemy + Flask-SQLAlchemy 来对你的数据库进行控制。

BTW：果壳网基于 Flask 开发的。

另外也简单介绍下其他框架：

1 Django。如楼上所说，是一个全能型框架。目前 Django 的使用面还是很广的，有学习的价值，但是不建议初学者学习，因为要学习的东西太多了，一下子难以吸收会失去兴趣。当然，Django 的目的是为了让开发者能够快速地开发一个网站，如果对 Django 熟悉的话，papapa 一下子就写好一个网站的原型了。

2 Tornado。传说中性能高高的框架。Tornado 是一个很好的框架，支持异步处理的功能，这是它的特点，其他框架不支持。另外一点是，Tornado 的设计似乎更注重 RESTful URL。但 Tornado 提供了网站基本需要使用的模块外，剩下的则需要开发者自己进行扩展。例如数据库 *** 作，虽然内置了一个 database 的模块（后来独立出去了，现在叫做 torndb，bdarnell/torndb · GitHub）但是不支持 ORM，快速开发起来还是挺吃力的。如果需要 ORM 支持的话，还需要自己写一层将 SQLAlchemy 和 Tornado 联系起来，而且这里还有一个坑。BTW：知乎就是基础 Tornado 开发的。

3 Bottle。Bottle 和 Flask 都属于轻量级的 Web 框架。但是 Bottle 似乎落寞了。我觉得跟他的 API 设计有关系。个人认为 Bottle 使用起来不那么顺手，因此也用得少。这里不做太多介绍。

4 webpy。也是很轻的一个框架，使用不多，也不做介绍。

5 web2py。我看楼上都没有对这个框架做介绍。这个框架是 Google 在 webpy 基础上二次开发而来的，兼容 GAE 。性能据说很高，曾经用他来做自己的主页，感觉也还不错。缺点同样是对扩展支持不太好，需要自己进行扩展。

6 Quixote。著名的豆瓣就是基于 Quixote 开发的。跟上面几个框架不同，Quixote 的路由会有些特别。另外 Quixote 的性能据说也好。

学习任何一门语言，选择 *** 作系统，搭建开发环境是必不可少的。学习Python，这里推荐Linux系统，在Linux平台一般都是配置好Python开发平台，安装好系统就可以写程序。如果你选择windows，就要自己下载并配置好Python开发环境。开发环境的选择

仔细阅读有关Python的书籍，好记心不如烂不同，一定要做笔记，过后回顾笔记。书上给出的练习，一定要做，并且争取全部弄懂。书上有的练习代码，一定要自己调试一遍，知其所以然。看书练习

每天的编码必不可少，既然选择学习编程，学习Python，坚持编码应该是必须做到的。没有代码积累，要写出高质量的代码，几乎不可能。坚持编码

在写过不少基础代码之后，可以去各大Python相关的网站阅读别人的代码，多阅读别人的也是提高自己的编码水平的很好途径，同时，有把自己的代码分享给别人阅读，一边互相交流促进。阅读代码分享代码

Python是一门极易入门的编程语言，希望你能学有所成，坚持很重要，真的。但是很多的人对于如何学习和做好python缺乏积极性，遇到问题就开始退缩，明明学习很努力，但是就是学不会，如果你遇到这样的问题，不要慌，可以加Q--Q112-中间是98，3以及最后的几位数490，3，你把数字全部连在一起加上这个QAQ，让专业的老师指导你更好的python

Python编程语言的持续火爆，在最新Tiobe编程语言排行榜中位列第五，热度持续增加，尤其是在 AI 和大数据时代，Python是 AI 和大数据时代的第一开发语言。这已经是一个不争的事实了，唯一的悬念就是谁能坐上第二把交椅了。

问题1:什么是软件框架举个简单的例子，对于一个公司来说，公司中有各个职能部门，每个部门各司其职，通过部门之间的配合来完成工作，这些部门就形成了一个公司的组织架构。从某种意义上来说，公司就是一种框架。那么对应到软件设计上来说，软件框架是由其中的各个模块组成的，每个模块负责特定的功能，模块与模块之间相互协作来完成软件开发。一个公司，它是针对某一市场而成立的，而软件框架的设计，也是针对某一类软件问题而设计的，其目的主要是提高软件开发效率

问题2：Django的简介和设计思想 Django是用python语言写的开源web开发框架，并遵循MVC设计。劳伦斯出版集团为了开发以新闻内容为主的网站，而开发出来了这个框架，于2005年7月在BSD许可证下发布。Django的主要目的是简便、快速的开发数据库驱动的网站。它强调代码复用，多个组件可以很方便的以“插件”形式服务于整个框架，Django有许多功能强大的第三方插件，你甚至可以很方便的开发出自己的工具包。这使得Django具有很强的可扩展性。它还强调快速开发原则。

问题3：MVC简介 MVC的全拼为Model-View-Controller，最早在20世纪80年代为程序语言Smalltalk发明的一种软件设计模式，是为了将传统的输入(input)、处理(processing)、输出(output)任务运用到图形化用户交互模型中而设计的。现MVC是一种架构设计模式，是一种设计理念。是为了达到分层设计的目的，从而使代码解耦，便于维护和代码的复用。MVC是3个单词的缩写，全称：Model-View-Controller(模型-视图-控制器)。MVC就是提供一种规则，让你把相同类型的代码放在一起，这样就形成了层次，从而达到分层解耦、复用、便于测试和维护的目的。

当前主流的开发语言如Java、PHP、Python中都有MVC框架。 Web MVC各部分的功能 M全拼为Model，主要封装对数据库层的访问，对数据库中的数据进行增、删、改、查 *** 作。 V全拼为View，用于封装结果，生成页面展示的html内容。 C全拼为Controller，用于接收请求，处理业务逻辑，与Model和View交互，返回结果

问题4：Django框架遵循MVC设计，并且有一个专有名词：MVT MVT各部分的功能: M全拼为Model，与MVC中的M功能相同，负责和数据库交互，进行数据处理。 V全拼为View，与MVC中的C功能相同，接收请求，进行业务处理，返回应答。 T全拼为Template，与MVC中的V功能相同，负责封装构造要返回的html。

需要学习的python框架有：1、Django，它是一个高级的python web框架，以快速开发和使用简洁的设计闻名；2、CherryPy，它是历史最久的框架之一，运行非常稳定且快速；3、Web2Py，它是一个开源、免费的web框架。

常用的五大python框架：

（推荐教程：Python入门教程）

1、Django

Django是一个高级的Python Web框架，以快速开发和实用简洁的设计闻名。它由经验丰富的开发人员构建，解决了Web开发的麻烦，因此用户可以专注于编写应用程序，而不需要担心返工。并且它是开源和免费的。

特点：

安全系数高，能帮助开发者规避常见错误。

速度特别快，因为它的设计目的是使应用程序非常快地从概念阶段过渡到最终阶段。

扩展性好。

从21世纪初Django成为开源框架到现在，它一直是最佳的归档方式。

2、CherryPy

CherryPy是历史最久的框架之一，运行非常稳定且快速。该框架允许开发人员构建web应用程序，和以Python为对象的应用程序开发过程类似，因而可在更短的时间内开发更小的源代码。