python2、python3 伪装浏览器爬取网页内容的简单示例

概述python2、python3 伪装浏览器爬取网页内容的简单示例 对python这个高级语言感兴趣的小伙伴，下面一起跟随内存溢出 jb51.cc的小编两巴掌来看看吧！

python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。

今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。

最基础的抓取：

# @param 分别用python2和python3伪装浏览器爬取网页内容# @author 内存溢出 jb51.cc|www.jb51.cc #! /usr/bin/env python# -*- Coding=utf-8 -*-# @Author 512picimport urllib.requesturl = "http://jb51.cc"HTML = urllib.request.urlopen(url).read(）print(HTML)

但是...有些网站不能抓取，进行了防采集设置，所以我们要变换一下方法

python2中（最新稳定版本python2.7）

# @param 分别用python2和python3伪装浏览器爬取网页内容# @author 内存溢出 jb51.cc|www.jb51.cc #! /usr/bin/env python# -*- Coding=utf-8 -*- # @Author jb51.ccimport urllib2url="http://jb51.cc"req_header = {'User-Agent':'Mozilla/5.0 (windows NT 6.1) AppleWebKit/537.11 (KHTML,like Gecko) Chrome/23.0.1271.64 Safari/537.11','Accept':'text/HTML;q=0.9,*/*;q=0.8','Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3','Accept-EnCoding':'gzip','Connection':'close','Referer':None #注意如果依然不能抓取的话，这里可以设置抓取网站的host             }req_timeout = 5req = urllib2.Request(url,None,req_header)resp = urllib2.urlopen(req,req_timeout)HTML = resp.read()print(HTML)

python3中（最新稳定版本python3.3）

#! /usr/bin/env python# -*- Coding=utf-8 -*- # @Author 512picimport urllib.request url = "http://jb51.cc"headers = {'User-Agent':'Mozilla/5.0 (windows NT 6.1) AppleWebKit/537.11 (KHTML,'Referer':None #注意如果依然不能抓取，这里可以设置抓取网站的host             } opener = urllib.request.build_opener()opener.addheaders = [headers]data = opener.open(url).read()print(data)

总结

以上是内存溢出为你收集整理的python2、python3 伪装浏览器爬取网页内容的简单示例全部内容，希望文章能够帮你解决python2、python3 伪装浏览器爬取网页内容的简单示例所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。