Python网页解析库：用requests-html爬取网页

Python 中可以进行网页解析的库有很多，常见的有 BeautifulSoup 和 lxml 等。在网上玩爬虫的文章通常都是介绍 BeautifulSoup 这个库，我平常也是常用这个库，最近用 Xpath 用得比较多，使用 BeautifulSoup 就不大习惯，很久之前就知道 Reitz 大神出了一个叫 Requests-HTML 的库，一直没有兴趣看，这回可算歹着机会用一下了。

使用 pip install requests-html 安装，上手和 Reitz 的其他库一样，轻松简单：

这个库是在 requests 库上实现的，r 得到的结果是 Response 对象下面的一个子类，多个一个 html 的属性。所以 requests 库的响应对象可以进行什么 *** 作，这个 r 也都可以。如果需要解析网页，直接获取响应对象的 html 属性：

不得不膜拜 Reitz 大神太会组装技术了。实际上 HTMLSession 是继承自 requestsSession 这个核心类，然后将 requestsSession 类里的 requests 方法改写，返回自己的一个 HTMLResponse 对象，这个类又是继承自 requestsResponse,只是多加了一个 _from_response 的方法来构造实例：

之后在 HTMLResponse 里定义属性方法 html，就可以通过 html 属性访问了,实现也就是组装 PyQuery 来干。核心的解析类也大多是使用 PyQuery 和 lxml 来做解析，简化了名称，挺讨巧的。

元素定位可以选择两种方式：

方法名非常简单，符合 Python 优雅的风格，这里不妨对这两种方式简单的说明：

定位到元素以后势必要获取元素里面的内容和属性相关数据，获取文本：

获取元素的属性：

还可以通过模式来匹配对应的内容：

这个功能看起来比较鸡肋，可以深入研究优化一下，说不定能在 github 上混个提交。

除了一些基础 *** 作，这个库还提供了一些人性化的 *** 作。比如一键获取网页的所有超链接，这对于整站爬虫应该是个福音，URL 管理比较方便：

内容页面通常都是分页的，一次抓取不了太多，这个库可以获取分页信息：

结果如下：

通过迭代器实现了智能发现分页，这个迭代器里面会用一个叫 _next 的方法，贴一段源码感受下：

通过查找 a 标签里面是否含有指定的文本来判断是不是有下一页，通常我们的下一页都会通过 下一页 或者 加载更多 来引导，他就是利用这个标志来进行判断。默认的以列表形式存在全局： ['next','more','older'] 。我个人认为这种方式非常不灵活，几乎没有扩展性。 感兴趣的可以往 github 上提交代码优化。

也许是考虑到了现在 js 的一些异步加载，这个库支持 js 运行时，官方说明如下：

使用非常简单，直接调用以下方法：

第一次使用的时候会下载 Chromium，不过国内你懂的，自己想办法去下吧，就不要等它自己下载了。render 函数可以使用 js 脚本来 *** 作页面，滚动 *** 作单独做了参数。这对于上拉加载等新式页面是非常友好的。

感觉ls方法不好，用basename函数结合PHP_SELF便可获取当前文件的文件名，这也是discuz的写法

<php

$curfile = basename($_SERVER['PHP_SELF']);

echo $curfile;

>

1 遇到的中文乱码问题

11 简单的开始

使用requests来拔取网站内容十分方便，一个最简单的代码段只需要2-3行代码就行。

点击(此处)折叠或打开

url = '>

req = requestsget(url)

print(reqtext)

tree = htmlfromstring(reqtext)

print(treexpath("//h1[@class='title']/text()"))

    上面的代码段起作用的也就3行（2,4,5）代码就获取到我们想要的内容。当然还要导入一系列的包，比如说requests、lxml、html等。当然由于/是英文网站，不存在中文乱码问题。

12 麻烦的开始

    本来当时的想法是写一些基础模块，方便之后开发的时候调用，减少重复性工作。为了保证代码在任何情况下都不会出现bug，所以想着用同样的代码爬取中文网站获取里面的文字

    修改上面代码中的两行代码：

点击(此处)折叠或打开

url = '>

print(treexpath("//span[@class='sec_blk_title']/text()"))

    运行程序可以发现，在语句print(reqtext)输出的内容中，中文字体已经是乱码了。最后的结果输出是['©è§\x86é\x91', '\x80\x9c\x9f\x9b\x9eé']

2 乱码解决办法

21 试错

    由于之前爬取csdn上一个网页没有出现乱码问题，但是在sina体育网站上出现了乱码，所以当时以为不是编码问题，以为是文档压缩问题。因为csdn获取的页面header里没有“Content-Encodings”属性，但是sina体育获取的页面header有“Content-Encodings”属性--“Content-Encoding: gzip”。

总结：参考上述文献，结果还是没有解决问题，但是就考虑是不是方向错了。不过这部分工作也没有白做，很多网站返回数据都会有压缩问题，之后的工作中也能用上。

22 乱码终极解决办法

    后来查阅官方文档中response-content相关内容，说明了Requests会自动解码来自服务器的内容。Requests会基于模块是最简单的一种方式。）

    另一份官方文档片段明确说了reponse编码处理方式：

        Requests遵循RFC标准，编码使用ISO-8859-1 。

        只有当才不去猜测编码方式。

    现在直接上实验结果，在原始代码中添加以下代码片段：

点击(此处)折叠或打开

print(reqheaders['content-type'])

print(reqencoding)

print(reqapparent_encoding)

print(requestsutilsget_encodings_from_content(page_contenttext))

输出结果分别是：

    text/html

    ISO-8859-1#response内容的编码

    utf-8#response headers里设置的编码

    ['utf-8']#response返回的html header标签里设置的编码

    返回的内容是采用‘ISO-8859-1’，所以出现了乱码，而实际上我们应该采用‘utf-8’编码

        

    总结：当response编码是‘ISO-8859-1’，我们应该首先查找response header设置的编码；如果此编码不存在，查看返回的Html的header设置的编码，代码如下：

点击(此处)折叠或打开

if reqencoding == 'ISO-8859-1':

encodings = requestsutilsget_encodings_from_content(reqtext)

if encodings:

encoding = encodings[0]

else:

encoding = reqapparent_encoding

encode_content = reqcontentdecode(encoding, 'replace')encode('utf-8', 'replace')

aaasp10

这样的写法是只有参数，没有参数的值，几乎没见过这样的写法。。。

很奇怪，非要取得的话，可以用ASP取得当前网址的函数来获得整个网址路径，然后再分析网址字符串

RequestServerVariable(">

string sid = RequestQueryString["key"]; string stype = RequestQueryString["type"]; 接收的都是字符串类型 如果要数字 需要用 ConvertToInt32(sid); 转换下

以上就是关于Python网页解析库：用requests-html爬取网页全部的内容，包括:Python网页解析库：用requests-html爬取网页、php获得当前网页的名称、Python+requests 爬取网站遇到中文乱码怎么办等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！