python爬取大量数据(百万级)

当用python爬取大量网页获取想要的数据时，最重要的问题是爬虫中断问题，python这种脚本语言，一中断

进程就会退出，怎么在中断后继续上次爬取的任务就至关重要了。这里就重点剖析这个中断问题。

第一个问题: 简单点的用动态代理池就能解决，在爬取大量数据的时候，为了速度不受影响，建议使用一些缓

存的中间件将有效的代理 ip 缓存起来，并定时更新。这里推荐 github 这个仓库

>

网络爬虫。使用urllib2和BeautifulSoup（或者正则表达式）去抓取网页数据，大部分的网站都要这么做。

淘宝开放平台SDK。申请一个sdk用户，然后调用API。支持python27以上版本。

该回答不涉及传感器选购以及如何使用Python调用，建议根据自己的机子自行淘宝或者参考别的问题（虽然现在没有）

简述：

语言：python 2711

第三方库：itchat

需要设备：采集湿度的设备（机房的电脑？），传感器，一个139邮箱（如果需要短信提示的话）

流程：

确定机子以及传感器

通过说明书（或者店主）学会了通过Python获取传感器数据

编写判断语句，在命令行输出警告

将微信提示或邮箱提示替换警告的方式

微信个人号通知：

import itchat

itchatauto_login()

itchatsend('Temperature warning')

这个插件的文档在这里：itchat

邮箱通知：

我写了一个简单的Demo: EasierLife/Plugins/MailNotification at master · littlecodersh/EasierLife · GitHub

from MailNotification import MailNotification

with MailNotification() as mail:

mailsend_notification('Temperature warning')

短信通知：

你可以选择使用各种短信平台，但最简单的方式是注册一个139邮箱，然后通过上面邮箱通知的方法发送邮件，你会收到相应的短信提示。

仅在里边定义连接字串,在使用的时候在创建对象，使用完对象就关闭

Configasp:

Quote

<%

Dim Def_Sample

Def_Path=serverMapPath("datamdb")

Def_Sample="DBQ="+Def_Path+";DefaultDir=;DRIVER={Microsoft Access Driver (mdb)};" '连接字串

%>

以上就是关于python爬取大量数据(百万级)全部的内容，包括:python爬取大量数据(百万级)、怎么使用python获取淘宝数据、如何用python实现从传感器发送数据和消息到短信和微信等等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！