请教高手，网页数据抓取问题

方法一：直接抓取网页源码

优点：速度快。

缺点：1，正由于速度快，易被服务器端检测，可能会限制当前ip的抓取。对于这点，可以尝试使用ip代码解决。

2，如果你要抓取的数据，是在网页加载完后，js修改了网页元素，无法抓取。

3，遇到抓取一些大型网站，如果需要抓取如登录后的页面，可能需要破解服务器端帐号加密算法以及各种加密算法，及其考验技术性。

适用场景：网页完全静态化，并且你要抓取的数据在网页首次加载完成就加载出来了。涉及登录或者权限 *** 作的类似页面未做任何帐号加密或只做简单加密的。

当然，如果该网页你抓取的数据，是通过接口获得的json,那么，你就更幸福的，直接抓取json页面即可。

对于有登录的页面，我们如何拿到他的登录页之后的源码呢？

首先我要介绍一下，对于session保存帐号信息的情况下，服务器是如何确定该用户身份的。

首先，用户登录成功后，服务器端会将用户的当前会话信息保存到session中，每一个session有一个唯一标志sessionId。则用户访问这个页面，session被创建后，就会接收到服务器端传回的sessionId,并将其保存到cookie中，因此，我们可以用chrome浏览器打开检查项，查看当前页面的jsessionId。下次用户访问需要登录的页面时，用户发送的请求头会附上这个sessionId,服务器端通过这个sessionId就可以确定用户的身份。

这里，我搭建了一个简单的jsp登录页面，登录后的帐号信息保存在服务器端session中。

思路：1，登录。2，登录成功后获得cookie。3,将cookie放到请求头中，向登录页发送请求。

附上java版本的代码及python

java版：

修改安全设置。

1、打开电脑，进入任意一个浏览器即可，首先找到浏览器工具栏菜单，打开浏览器Internet选项；2、点击安全选项卡，之后会出现安全设置界面；3、点击下方的自定义级别，在d出的窗口中找到”对未标记为可安全执行的脚本的ActiveX控件初始化并执行脚本“这一选项；4、点击启用；之后将d出警告窗口，选择“是”，随后将自动返回一级菜单，工具栏下方将显示“您的安全设置导致计算机存在安全风险”，excle即可安全导出。

代码：

Private Sub CommandButton1_Click()

Dim IE As Object

Dim i As Integer

i = 1

'打开网页：创建一个IE对象，然后给一些属性赋值。Visible是可见性，navigate是网页地址

Set IE = CreateObject('internetexplorerapplication')

With IE

Visible = True

navigate '>

excel从2000版本开始就可以从网页上获取数据了，在excel中可以通过web查询的方法获取网络上的数据，具体的 *** 作方法有两种。

1、直接打开网络上的工作簿

如果用户位于局域网中，那么就可以直接打开网络上的数据了。选择“文件”菜单中的“打开”命令，在d出的“打开”对话框中，按下“查找范围”中的“网上邻居”，找到需要的文件并打开即可。

2、通过Web查询的方法来获取网上数据

选择“数据”菜单中“获取外部数据”子菜单中的“运行保存的查询”命令，在d出的“运行查询”对话框中，选择需要运行的Web查询方式，选定后单击“获取数据”按钮。在出现的“将外部数据返回给 Microsoft Excel”对话框中，用户可以设置数据的放置位置。用户可以单击“属性”按钮，进行相应的设置。单击“参数”按钮，可以进入“查询参数”对话框来设置获取参数值的方法。在“参数”和“属性”后，就会进入最终的“输入参数值”对话框，在这里输入运行Web查询的参数（可用逗号分隔）即可。

很多时候我们我们的excel表格都需要从网上获取一些比较实时的数据当作一些参考数据来使用，通过上面的方法就可以实现了。

用WebRequest方法获取网站的数据：

private string GetStringByUrl(string strUrl)

{

WebRequest wrt = WebRequestCreate(strUrl);

WebResponse wrse = wrtGetResponse();

Stream strM = wrseGetResponseStream();

StreamReader SR = new StreamReader(strM, EncodingGetEncoding("gb2312"));

string strallstrm = SRReadToEnd();

return strallstrm;

}

然后自己写方法处理里面的数据来获取你想要的值

1、Jsoup简述

​

Java中支持的爬虫框架有很多，比如WebMagic、Spider、Jsoup等。

​ Jsoup拥有十分方便的api来处理html文档，比如参考了DOM对象的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧。

2、快速开始

1)分析HTML页面，明确哪些数据是需要抓取的

2)使用>

关于怎么爬取网上的信息，有时候我们经常在网页上看到很多表格数据，有些不能直接复制粘贴到文档或者Excel表格中，有些能复制但是格式会发生很多错乱，要是信息量大的话，修改格式都是一项大工程了。

举个例子，之前有同学在网上看到一个表格数据：

要是我们直接复制很难把表格格式也复制进去，尤其对于一些每天都在变化的数据，也不能同步更新数据。

所以我们可以把网页的数据用Excel表格， 导入网页的链接实现表格数据爬取，同步自动更新表格数据

首先我们需要复制表格数据所在网页的链接

然后打开Excel表格。

注意：Excel表格需要2016以上的版本才可以。

然后把我们刚才复制好的数据所在网页链接粘贴进去，按确定

稍等片刻，就会自动获取网页所有表格数据，我们找到我们需要获取的数据表格，然后点击加载进Excel表格中。

加载到Excel表格中后，我们可以对外部数据进行编辑等其他参数调整

因为是直接获取外部的链接数据，所以要是外部数据变化，我们也可以设置自定数据更新。

在表格属性设计中找到刷新选项的查看链接属性，然后可以自定义设置一些自动更新时间。

如下动态图演示：

同时我们可以直接复制进Word文档中，选择性粘贴保留原格式，那么也可以跟Excel和网页数据实现同步更新了

以上就是关于请教高手，网页数据抓取问题全部的内容，包括:请教高手，网页数据抓取问题、网页数据无法导出,如何获取、vba如何抓取网页上的数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！