通过WebMagic认识正则表达式和XPATH教程

最近在自学JAVA的过程中，偶然想到了做个爬虫程序，经过简单的对比，发现了WebMagic这个库，在使用库的过程中因为涉及到正则表达式和XPATH，所以做个笔记，记录一下，否则稍微过段时间不看就忘记了。

以内涵社区为例，打开 内涵社区 ，然后右键“检查”（Chrome浏览器，得到如下html，这里只截取其中一部分作为示例）

然后，开始我们的爬虫程序：

创建一个类GithubRepoPageProcessor(为什么叫Github因为跟着写demo的时候创建的，懒得修改了)继承PageProcessor,并实现方法:

好，那么这里就要用正则和XPATH提取我们需要的内容了：

先来看下正则表达式的常用字符:

接下来使用上面的html文件依次举例：

1、获取所有的数字

扩展例子:

2、获取所有p标签里的内容

3、获取所有的href内容

分析GithubRepoPageProcessor里面的内容:

创建MainApp写入main方法并调用运行

最终效果:

获取页面a标签里的内容

string url = "url";        string html = MyCLibNetClassSendUrl(url,SystemTextEncodingUTF8);

List<string> keywords = new List<string>();

Regex reg = new Regex(@"(is)<a[^>]href=(['""])(<url>[^'""\s>]+)\1[^>]>(<text>(:(!</a\b)))</a>");

MatchCollection mc = regMatches(html);        foreach (Match m in mc)

{            //richTextBox2Text += mGroups["url"]Value + "\n";

string keyword = RegexReplace(mGroups["text"]Value, "<[^>]>", stringEmpty)Replace("", "")Replace("·", "")Replace("&nbsp;", "");            if (keywordLength > 0 && !keywordsContains(keyword))

{

keywordsAdd(keyword);

}

}        for (int i = 0; i < keywordsCount; i++)

{

ResponseWrite(keywords[i]);

ResponseWrite("<br>");

}

import requests

import csv

from bs4 import BeautifulSoup

# 设置列表，用以存储每本书籍的信息

data_list = []

# 设置页码 page_number

page_number = 1

# while 循环的条件设置为 page_number 的值是否小于 4

while page_number < 4:

    # 设置要请求的网页链接

    url = '>

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 

类似于使用程序模拟IE浏览器的功能，把URL作为>

在Python中，我们使用urllib2这个组件来抓取网页。

urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。

它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。

我们新建一个文件urllib2_test01py来感受一下urllib2的作用：

import urllib2

response = urllib2urlopen('>

按下F5可以看到运行的结果：

我们可以打开百度主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容。

也就是说，上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。

这就是一个最简单的urllib2的例子。

除了">

>

客户端提出请求，服务端提供应答。

urllib2用一个Request对象来映射你提出的>

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，

通过调用urlopen并传入Request对象，将返回一个相关请求response对象，

这个应答对象如同一个文件对象，所以你可以在Response中调用read()。

我们新建一个文件urllib2_test02py来感受一下：

import urllib2 

req = urllib2Request('>

可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

req = urllib2Request('ftp://examplecom/')

在>

1发送data表单数据

这个内容相信做过Web端的都不会陌生，

有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本，或其他WEB应用程序挂接)。

在>

这个通常在你提交一个HTML表单时由你的浏览器来做。

并不是所有的POSTs都来源于表单，你能够使用POST提交任意的数据到你自己的程序。

一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。

编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03py来感受一下：

import urllib 

import urllib2 

url = '>

如果没有传送data参数，urllib2使用GET方式的请求。

GET和POST请求的不同之处是POST请求通常有"副作用"，

它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。

Data同样可以通过在Get请求的URL本身上面编码来传送。

import urllib2 

import urllib

data = {}

data['name'] = 'WHY' 

data['location'] = 'SDU' 

data['language'] = 'Python'

url_values = urlliburlencode(data) 

print url_values

name=Somebody+Here&language=Python&location=Northampton 

url = '>

这样就实现了Data数据的Get传送。

2设置Headers到>

有一些站点不喜欢被程序（非人为访问）访问，或者发送不同版本的内容到不同的浏览器。

默认的urllib2把自己作为“Python-urllib/xy”(x和y是Python主版本和次版本号,例如Python-urllib/27)，

这个身份可能会让站点迷惑，或者干脆不工作。

浏览器确认自己身份是通过User-Agent头，当你创建了一个请求对象，你可以给他一个包含头数据的字典。

下面的例子发送跟上面一样的内容，但把自身模拟成Internet Explorer。

（多谢大家的提醒，现在这个Demo已经不可用了，不过原理还是那样的）。

import urllib 

import urllib2 

url = '>

以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容，非常简单吧，希望对大家能有所帮助。

Document doc = Jsoupconnect("

Jsoup了解一下。

根据java网络编程相关的内容，使用jdk提供的相关类可以得到url对应网页的html页面代码。

针对得到的html代码，通过使用正则表达式即可得到我们想要的内容。

比如，我们如果想得到一个网页上所有包括“java”关键字的文本内容，就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容，只得到包括“java”这个关键字的内容的效果。

从网页上爬取的流程和爬取内容的流程基本相同，但是爬取的步骤会多一步。

需要先用img标签的正则表达式匹配获取到img标签，再用src属性的正则表达式获取这个img标签中的src属性的url，然后再通过缓冲输入流对象读取到这个url的信息，配合文件输出流将读到的信息写入到本地即可。

以上就是关于通过WebMagic认识正则表达式和XPATH教程全部的内容，包括:通过WebMagic认识正则表达式和XPATH教程、ASP截取a标签里HREF的内容呢、2022-04-16 爬虫day4 <解析网页-存储数据>等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！