zhuan：有哪些网站用爬虫爬取能得到很

一般有一下几种 一些常用的方法 IP代理 对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了 网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上 网络有高质量的代理IP出售, 前提是你有渠道 因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(RabbitMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP Cookies 有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套Cookies池 注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies 限速访问 像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容 一些坑 大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制 所以适当的告警提示爬虫失效是很有必有的 一般被反爬虫后, 请求返回的>

相较于爬虫技术，反爬虫实际上更复杂。目前许多互联网企业都会花大力气进行“反爬虫”，网络爬虫不但会占据过多的网站流量，导致有真正需求的用户没法进入网站，另外也有可能会导致网站关键数据的外泄等现象。网络爬虫遍布互联网的各个角落，因此网络爬虫有好处也有坏处，接下来介绍一下和网络爬虫一同诞生的反爬虫技术，如何才能防止别人爬取自己的网站？

1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。

2、基于iptables和shell脚本：可以对nginx的accesslog进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的 *** 作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。

3使用robotstxt文件：例如阻止所有的爬虫爬取，但是这种效果不是很明显。

User-agent:

Disallow: /

4使用nginx的自带功能：通过对>

律师获取律所网站上的用户信息需要遵守相关法律法规，如《中华人民共和国律师法》、《中华人民共和国网络安全法》、《中华人民共和国个人信息保护法》等，不能以违反法律的方式获取和利用用户信息。如果律师通过爬虫手段获取用户信息，而该手段违反了相关法律法规，则律师不仅可能被追究法律责任，还可能受到行业道德的谴责。因此，律师应该遵守法律法规，在合法的范围内获取和使用用户信息。

有些网站需要登录后才能爬取所需要的信息，此时可以设计爬虫进行模拟登录，原理是利用浏览器cookie。

一、浏览器访问服务器的过程：

（1）浏览器（客户端）向Web服务器发出一个>

二、利用Fiddler查看浏览器行为信息：

>

（1）起始行：包括请求方法、请求的资源、>

这里GET请求没有消息主体，因此消息头后的空白行中没有其他数据。

（2）消息头：包含各种属性

（3）消息头结束后的空白行

（4）可选的消息体：包含数据

>

（1）起始行：包括>

（2）消息头：包含各种属性

（3）消息体：包含数据

从上面可见，cookie在>

三、什么是cookie：

当用户通过浏览器首次访问一个域名时，访问的Web服务器会给客户端发送数据，以保持Web服务器与客户端之间的状态，这些数据就是Cookie。

它是站点创建的，为了辨别用户身份而储存在用户本地终端上的数据，其中的信息一般都是经过加密的，存在缓存或硬盘中，在硬盘中是一些小文本文件。

当访问该网站时，就会读取对应网站的Cookie信息。

作用：记录不同用户的访问状态。

四、 *** 作过程：

在知乎登录界面输入用户名和密码，然后登录。

利用Fiddler来查看这期间浏览器和知乎服务器之间的信息交互。

（1）浏览器给服务器发送了一个POST，携带帐号和密码等信息；

从起始行可见，POST是发送给>

可以发现，信息里不仅有帐号（email）和密码（password），其实还有_xsrf（具体作用往后看）和remember_me（登录界面的“记住我”）两个值。

那么，在python爬虫中将这些信息同样发送，就可以模拟登录。

在发送的信息里出现了一个项：_xsrf，值为2fc4ab0f0f144c2e478c436fe3160443

这个项其实是在访问知乎登录网页>

所以需要先从登录网址>

并连同帐号、密码等信息再POST到真正接收请求的>

（2）获取_xsrf的值：

爬取登录网址>

（3）发送请求：

xsrf = 获取的_xsrf的值

data = {"email":"xxx","password":"xxx","_xsrf":xsrf}

login = spost(loginURL, data = data, headers = headers)

loginURL：是真正POST到的网址，不一定等同于登录页面的网址；

（4）爬取登录后的网页：

response = sget(getURL, cookies = logincookies, headers = headers)

getURL：要爬取的登陆后的网页；

logincookies：登陆时获取的cookie信息，存储在login中。

（5）输出内容：

print responsecontent

五、具体代码：

[python] view plain copy

# -- coding:utf-8 --

# author:Simon

# updatetime:2016年3月17日 17:35:35

# 功能：爬虫之模拟登录，urllib和requests都用了

import urllib

import urllib2

import requests

import re

headers = {'User-Agent':'Mozilla/50 (Windows NT 62) AppleWebKit/53511 (KHTML, like Gecko) Chrome/17096312 Safari/53511'}

def get_xsrf():

firstURL = ">

request = urllib2Request(firstURL,headers = headers)

response = urllib2urlopen(request)

content = responseread()

pattern = recompile(r'name="_xsrf" value="()"/>',reS)

_xsrf = refindall(pattern,content)

return _xsrf[0]

def login(par1):

s = requestssession()

afterURL = ">

loginURL = ">

login = spost(loginURL, data = par1, headers = headers)                  # 发送登录信息，返回响应信息（包含cookie）

response = sget(afterURL, cookies = logincookies, headers = headers)    # 获得登陆后的响应信息，使用之前的cookie

return responsecontent

xsrf = get_xsrf()

print "_xsrf的值是：" + xsrf

data = {"email":"xxx","password":"xxx","_xsrf":xsrf}

print login(data)

六、补充：

用知乎网做完试验，发现这里好像并不需要发送_xsrf这个值。

不过有的网站在登陆时确实需要发送类似这样的一个值，可以用上述方法。

爬虫爬>

百度蜘蛛爬虫Spider爬取>

以上就是关于zhuan：有哪些网站用爬虫爬取能得到很全部的内容，包括:zhuan：有哪些网站用爬虫爬取能得到很、可以用爬虫来获取一些网站的内容，那么一些网站会做反爬虫程序么难做么会对搜索引擎造成什么影响、如何防止网站被爬虫爬取的几种办法等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！

欢迎分享，转载请注明来源：内存溢出

原文地址:https://54852.com/web/10148531.html