Java网络爬虫怎么实现？

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。\x0d\x0a传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。对于垂直搜索来说，聚焦爬虫，即有针对性地爬取特定主题网页的爬虫，更为适合。\x0d\x0a\x0d\x0a以下是一个使用java实现的简单爬虫核心代码：\x0d\x0apublic void crawl() throws Throwable { \x0d\x0awhile (continueCrawling()) { \x0d\x0aCrawlerUrl url = getNextUrl()//获取待爬取队列中的下一个URL\x0d\x0aif (url != null) { \x0d\x0aprintCrawlInfo() \x0d\x0aString content = getContent(url)//获取URL的文本信息\x0d\x0a \x0d\x0a//聚焦爬虫只爬取与主题内容相关的网页，这里采用正则匹配简单处理\x0d\x0aif (isContentRelevant(content, this.regexpSearchPattern)) { \x0d\x0asaveContent(url, content)//保存网页至本地\x0d\x0a\x0d\x0a//获取网页内容中的链接，并放入待爬取队列中\x0d\x0aCollection urlStrings = extractUrls(content, url)\x0d\x0aaddUrlsToUrlQueue(url, urlStrings)\x0d\x0a} else { \x0d\x0aSystem.out.println(url + " is not relevant ignoring ...")\x0d\x0a} \x0d\x0a\x0d\x0a//延时防止被对方屏蔽\x0d\x0aThread.sleep(this.delayBetweenUrls)\x0d\x0a} \x0d\x0a} \x0d\x0acloseOutputStream()\x0d\x0a}\x0d\x0aprivate CrawlerUrl getNextUrl() throws Throwable { \x0d\x0aCrawlerUrl nextUrl = null\x0d\x0awhile ((nextUrl == null) &&(!urlQueue.isEmpty())) { \x0d\x0aCrawlerUrl crawlerUrl = this.urlQueue.remove()\x0d\x0a//doWeHavePermissionToVisit：是否有权限访问该URL，友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取 \x0d\x0a//isUrlAlreadyVisited：URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap \x0d\x0a//isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱（自动生成一些无效链接使爬虫陷入死循环），采用深度限制加以避免 \x0d\x0aif (doWeHavePermissionToVisit(crawlerUrl) \x0d\x0a&&(!isUrlAlreadyVisited(crawlerUrl)) \x0d\x0a&&isDepthAcceptable(crawlerUrl)) { \x0d\x0anextUrl = crawlerUrl\x0d\x0a// System.out.println("Next url to be visited is " + nextUrl)\x0d\x0a} \x0d\x0a} \x0d\x0areturn nextUrl\x0d\x0a}\x0d\x0aprivate String getContent(CrawlerUrl url) throws Throwable { \x0d\x0a//HttpClient4.1的调用与之前的方式不同 \x0d\x0aHttpClient client = new DefaultHttpClient()\x0d\x0aHttpGet httpGet = new HttpGet(url.getUrlString())\x0d\x0aStringBuffer strBuf = new StringBuffer()\x0d\x0aHttpResponse response = client.execute(httpGet)\x0d\x0aif (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) { \x0d\x0aHttpEntity entity = response.getEntity()\x0d\x0aif (entity != null) { \x0d\x0aBufferedReader reader = new BufferedReader( \x0d\x0anew InputStreamReader(entity.getContent(), "UTF-8"))\x0d\x0aString line = null\x0d\x0aif (entity.getContentLength() >0) { \x0d\x0astrBuf = new StringBuffer((int) entity.getContentLength())\x0d\x0awhile ((line = reader.readLine()) != null) { \x0d\x0astrBuf.append(line)\x0d\x0a} \x0d\x0a} \x0d\x0a} \x0d\x0aif (entity != null) { \x0d\x0ansumeContent()\x0d\x0a} \x0d\x0a} \x0d\x0a//将url标记为已访问 \x0d\x0amarkUrlAsVisited(url)\x0d\x0areturn strBuf.toString()\x0d\x0a}\x0d\x0apublic static boolean isContentRelevant(String content, \x0d\x0aPattern regexpPattern) { \x0d\x0aboolean retValue = false\x0d\x0aif (content != null) { \x0d\x0a//是否符合正则表达式的条件 \x0d\x0aMatcher m = regexpPattern.matcher(content.toLowerCase())\x0d\x0aretValue = m.find()\x0d\x0a} \x0d\x0areturn retValue\x0d\x0a}\x0d\x0apublic List extractUrls(String text, CrawlerUrl crawlerUrl) { \x0d\x0aMap urlMap = new HashMap()\x0d\x0aextractHttpUrls(urlMap, text)\x0d\x0aextractRelativeUrls(urlMap, text, crawlerUrl)\x0d\x0areturn new ArrayList(urlMap.keySet())\x0d\x0a} \x0d\x0aprivate void extractHttpUrls(Map urlMap, String text) { \x0d\x0aMatcher m = (text)\x0d\x0awhile (m.find()) { \x0d\x0aString url = m.group()\x0d\x0aString[] terms = url.split("a href=\"")\x0d\x0afor (String term : terms) { \x0d\x0a// System.out.println("Term = " + term)\x0d\x0aif (term.startsWith("http")) { \x0d\x0aint index = term.indexOf("\"")\x0d\x0aif (index >0) { \x0d\x0aterm = term.substring(0, index)\x0d\x0a} \x0d\x0aurlMap.put(term, term)\x0d\x0aSystem.out.println("Hyperlink: " + term)\x0d\x0a} \x0d\x0a} \x0d\x0a} \x0d\x0a} \x0d\x0aprivate void extractRelativeUrls(Map urlMap, String text, \x0d\x0aCrawlerUrl crawlerUrl) { \x0d\x0aMatcher m = relativeRegexp.matcher(text)\x0d\x0aURL textURL = crawlerUrl.getURL()\x0d\x0aString host = textURL.getHost()\x0d\x0awhile (m.find()) { \x0d\x0aString url = m.group()\x0d\x0aString[] terms = url.split("a href=\"")\x0d\x0afor (String term : terms) { \x0d\x0aif (term.startsWith("/")) { \x0d\x0aint index = term.indexOf("\"")\x0d\x0aif (index >0) { \x0d\x0aterm = term.substring(0, index)\x0d\x0a} \x0d\x0aString s = //" + host + term\x0d\x0aurlMap.put(s, s)\x0d\x0aSystem.out.println("Relative url: " + s)\x0d\x0a} \x0d\x0a} \x0d\x0a} \x0d\x0a\x0d\x0a}\x0d\x0apublic static void main(String[] args) { \x0d\x0atry { \x0d\x0aString url = ""\x0d\x0aQueue urlQueue = new LinkedList()\x0d\x0aString regexp = "java"\x0d\x0aurlQueue.add(new CrawlerUrl(url, 0))\x0d\x0aNaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L, \x0d\x0aregexp)\x0d\x0a// boolean allowCrawl = crawler.areWeAllowedToVisit(url)\x0d\x0a// System.out.println("Allowed to crawl: " + url + " " + \x0d\x0a// allowCrawl)\x0d\x0acrawler.crawl()\x0d\x0a} catch (Throwable t) { \x0d\x0aSystem.out.println(t.toString())\x0d\x0at.printStackTrace()\x0d\x0a} \x0d\x0a}

一、需求

1.定时抓取固定网站新闻标题、内容、发表时间和来源。

2.程序需要支持分布式、多线程

二、设计

1.网站是固定，但是未来也可能添加新的网站去抓取，每个网站内容节点设计都不一样，这样就需要支持动态可配置来新增网站以方便未来的扩展，这样就需要每次都需要开发介入。

2.网站html节点的结构可能发生变化，所以也要支持提取节点可配置。

3.怎样支持分布式？暂时最简单的想法就是：多机器部署程序，还有新搞一台或者部署程序其中一台制作一个定时任务，定时开启每台机器应该抓取哪个网站，暂时不能支持同一个网站同时可以支持被多台机器同时抓取，这样会比较麻烦，要用到分布式队列。所以暂时一个网站同时只会被单台机器抓取。

4.多线程，怎样多线程？多线程抓取我这边有两个实现：

（1）一个线程抓取一个网站，维护一个自己的url队列做广度抓取，同时抓取多个网站。如图：

（2）多个线程同时抓取不同的网站。如图：

以上两张办法其实各有优点，也给有缺点，看我们怎么取舍了。

方法1：每个线程创建一个自己的队列，图中的queue可以不用concurrentQueue，优点：不涉及到控制并发，每个网站一个线程抓取一个网站，抓取完毕即自动回收销毁线程。控制方便。缺点：线程数不可以扩展，例如当只有3个网站，你最多只能开3个线程来抓取，不能开更多，有一定的局限性。

方法2：N个线程同时抓取N个网站，线程数和网站数目不挂钩，优点：线程数可以调整并且和和抓取网站数量无关。3个网站我们可以开4个5个或者10个这个可以根据您的硬件资源进行调整。缺点：需要控制并发，并且要控制什么时候销毁线程（thread1空闲，并且queue为空不代表任务可以结束，可能thread2结果还没返回），当被抓取的网站响应较慢时，会拖慢整个爬虫进度。

三、实现

抓取方式最终还是选择了方法二，因为线程数可配置！

使用技术：

jfinal用了之后才发现这东西不适合，但是由于项目进度问题，还是使用了。

maven项目管理

jettyserver

mysql

eclipse开发

项目需要重点攻破的难点：

（1）合理的控制N个线程正常的抓取网站，并且当所有线程工作都完成了并且需要抓取的队列为空时，N个线程同时退出销毁。

（2）不同网站设计节点不一样，需要通过配置解决各个网站需要抓取的URL和抓取节点内容在html节点的位置。

（3）个性化内容处理，由于html结构设计问题，北大青鸟认为抓取的内容可能有些多余的html标签，或者多余的内容该怎么处理。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

import java.io.File

import java.net.URL

import java.net.URLConnection

import java.nio.file.Files

import java.nio.file.Paths

import java.util.Scanner

import java.util.UUID

import java.util.regex.Matcher

import java.util.regex.Pattern

public class DownMM {

public static void main(String[] args) throws Exception {

//out为输出的路径,注意要以\\结尾

String out = "D:\\JSP\\pic\\java\\"

try{

File f = new File(out)

if(! f.exists()) {

f.mkdirs()

}

}catch(Exception e){

System.out.println("no")

}

String url = "http://www.mzitu.com/share/comment-page-"

Pattern reg = Pattern.compile("<img src=\"(.*?)\"")

for(int j=0, i=1i<=10i++){

URL uu = new URL(url+i)

URLConnection conn = uu.openConnection()

conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.3WOW64Trident/7.0rv:11.0) like Gecko")

Scanner sc = new Scanner(conn.getInputStream())

Matcher m = reg.matcher(sc.useDelimiter("\\A").next())

while(m.find()){

Files.copy(new URL(m.group(1)).openStream(), Paths.get(out + UUID.randomUUID() + ".jpg"))

System.out.println("已下载:"+j++)

}

}

}

---