请教高手，网页数据抓取问题

方法一：直接抓取网页源码

优点：速度快。

缺点：1，正由于速度快，易被服务器端检测，可能会限制当前ip的抓取。对于这点，可以尝试使用ip代码解决。

2，如果你要抓取的数据，是在网页加载完后，js修改了网页元素，无法抓取。

3，遇到抓取一些大型网站，如果需要抓取如登录后的页面，可能需要破解服务器端帐号加密算法以及各种加密算法，及其考验技术性。

适用场景：网页完全静态化，并且你要抓取的数据在网页首次加载完成就加载出来了。涉及登录或者权限 *** 作的类似页面未做任何帐号加密或只做简单加密的。

当然，如果该网页你抓取的数据，是通过接口获得的json,那么，你就更幸福的，直接抓取json页面即可。

对于有登录的页面，我们如何拿到他的登录页之后的源码呢？

首先我要介绍一下，对于session保存帐号信息的情况下，服务器是如何确定该用户身份的。

首先，用户登录成功后，服务器端会将用户的当前会话信息保存到session中，每一个session有一个唯一标志sessionId。则用户访问这个页面，session被创建后，就会接收到服务器端传回的sessionId,并将其保存到cookie中，因此，我们可以用chrome浏览器打开检查项，查看当前页面的jsessionId。下次用户访问需要登录的页面时，用户发送的请求头会附上这个sessionId,服务器端通过这个sessionId就可以确定用户的身份。

这里，我搭建了一个简单的jsp登录页面，登录后的帐号信息保存在服务器端session中。

思路：1，登录。2，登录成功后获得cookie。3,将cookie放到请求头中，向登录页发送请求。

附上java版本的代码及python

java版：

excel从2000版本开始就可以从网页上获取数据了，在excel中可以通过web查询的方法获取网络上的数据，具体的 *** 作方法有两种。

1、直接打开网络上的工作簿

如果用户位于局域网中，那么就可以直接打开网络上的数据了。选择“文件”菜单中的“打开”命令，在d出的“打开”对话框中，按下“查找范围”中的“网上邻居”，找到需要的文件并打开即可。

2、通过Web查询的方法来获取网上数据

选择“数据”菜单中“获取外部数据”子菜单中的“运行保存的查询”命令，在d出的“运行查询”对话框中，选择需要运行的Web查询方式，选定后单击“获取数据”按钮。在出现的“将外部数据返回给 Microsoft Excel”对话框中，用户可以设置数据的放置位置。用户可以单击“属性”按钮，进行相应的设置。单击“参数”按钮，可以进入“查询参数”对话框来设置获取参数值的方法。在“参数”和“属性”后，就会进入最终的“输入参数值”对话框，在这里输入运行Web查询的参数（可用逗号分隔）即可。

很多时候我们我们的excel表格都需要从网上获取一些比较实时的数据当作一些参考数据来使用，通过上面的方法就可以实现了。

HTML是无法读取数据库的，HTML是页面前端脚本语言，要想从HTML网页中获取SQL数据库里的数据，需要借助JSP或ASP或PHP或RUBY等语言来实现。

SQL数据库的数据体系结构基本上是三级结构，但使用术语与传统关系模型术语不同。在SQL中，关系模式(模式)称为“基本表”(base table)；存储模式(内模式)称为“存储文件”(stored file)；子模式(外模式)称为“视图”(view)；元组称为“行”(row)；属性称为“列”(column)。

扩展资料

SQL语言的组成：

1、一个SQL数据库是表(Table)的集合，它由一个或多个SQL模式定义。

2、一个SQL表由行集构成，一行是列的序列(集合)，每列与行对应一个数据项。

3、一个表或者是一个基本表或者是一个视图。基本表是实际存储在数据库的表，而视图是由若干基本表或其他视图构成的表的定义。

4一个基本表可以跨一个或多个存储文件，一个存储文件也可存放一个或多个基本表。每个存储文件与外部存储上一个物理文件对应。

5用户可以用SQL语句对视图和基本表进行查询等 *** 作。在用户角度来看，视图和基本表是一样的，没有区别，都是关系(表格)。

6SQL用户可以是应用程序，也可以是终端用户。SQL语句可嵌入在宿主语言的程序中使用，宿主语言有FORTRAN，COBOL和Ada语言等。

参考资料:百度百科▬SQL数据库

以上就是关于请教高手，网页数据抓取问题全部的内容，包括:请教高手，网页数据抓取问题、通过web查询的方法获取网络上的数据、怎样从HTML网页中获取SQL数据库里的数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！