java里,如何让程序访问指定网页

java里,如何让程序访问指定网页,第1张

访问第一个页面,登陆成功了,会返回sessionid,把取得的sessionid通过cookie传递到第二次访问中,浏览器就是这么实现的,cookie是包含在http请求中。

URL url = new URL(linkPage1)

HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection()

......

//第一次访问后,获得session信息,你可以把session_value打印出来,然后根据格式把jsessionid提取出来

//,注意JSESSIONID=XXX都提取出来,带颤笑着JSESSIONID,也许需要用正则表达式

session_value = urlConnection.getHeaderField("Set-Cookie")

String[] sessionId = session_value.split("")

url = new URL(linkPage2)

urlConnection = (HttpURLConnection) url.openConnection()

//把获取的JSESSIONID=XXX保存到cookie中,然袜洞橡后连接第二页面

urlConnection.setRequestProperty("告旁Cookie", sessionId[0])

urlConnection.connect()

1、Jsoup简述

Java中支持的爬虫框架有很多,比如WebMagic、Spider、Jsoup等。

​ Jsoup拥有十分方便的api来处理html文档,比如参考了DOM对象的文档遍历方法,参考了CSS选择器的用法等等,因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧。

2、快速开始

1)分析HTML页面,明确哪些数据是需要抓取的

2)使用HttpClient读取HTML页面

HttpClient是一个处理Http协议数据的工具,使用它可以将HTML页面作为输入流读进java程序中.

3)使用Jsoup解析html字符串

通过引入Jsoup工具,直接调用parse方知尘法来解析一个描述html页面内容的字符串来获得一个Document对象。该Document对象以 *** 作DOM树的方式来获得html页面上指定的内容。

3、猜猛前保存爬取的页面数据

1)保存穗清普通数据到数据库中

将爬取的数据封装进实体Bean中,并存到数据库内。

2)保存图片到服务器上

直接通过下载图片的方式将图片保存到服务器本地。

document.getElementById("test").innerHTML="纳渣securityCode.jsp?111"111这里随机个数团高字塌茄尺即可

PS:拖死全家


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/yw/8253899.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-14
下一篇2023-04-14

发表评论

登录后才能评论

评论列表(0条)

    保存