如何 用Java语言获得网页数据

如何 用Java语言获得网页数据,第1张

你这个是不是A系统想了解B系统的页面信息?

如果是这样存在一个问题比较难解决,就是数据源问题,你A系统并不知道B系统的数据。

如果要获取招聘信息的公司名称,有几个思路

1、A系统做一个iframe,这个iframe里面嵌入你要访问的URL,然后你通过JS,获取这个iframe标签里面的所有内容,这样数据源就解决了

2、你可以做一个浏览器插件,这个插件的功能就是获取当前访问页面的所有字符数据,获取到数据后将数据发送到A系统

3、对网页进行截图,然后通过OCR软件获取中的文字,并将文字保存成文本,A系统读取这个文本信息,数据源问题也可以解决

以上上个只是我临时想到的,可能还可以运用JAVA的全文检索框架试试看,因为没有用过这个框架所以不知道是否能够实现

获取到数据源后,接下来就是业务处理了,业务处理就看具体业务进行处理就行了,技术方面就是一个文字处理的功能,技术好实现,业务比较复杂

页面:

<body>

<form action="/。。。。" id="form1">

<input type="hidden" name="indexUrl" id="indexUrl">

<a href="javascript:void(0);" onclick="goTo();">URL</a>

</form>

</body>

<script type="text/javascript">

function goTo(){

var form = documentgetElementById("form1");

var url = locationhref;

var indexUrl = documentgetElementById("indexUrl");

indexUrlvalue = url;

formsubmit();

}

</script>

servlet的doPost方法:

String indexUrl = requestgetParameter("indexUrl");

URL url = new URL(indexUrl);

InputStream is = urlopenConnection()getInputStream();

byte[] bs = new byte[9999];

int len = 0 ;

while((len = isread(bs, 0, 9999))!=-1){

Systemoutwrite(bs, 0, len);

}

isclose();

还可以用专门获取网页的JAR包,好像是jsoap上面的代码没有考虑转码的问题。如果是中文可能出现乱码,注意要统一编码格式。

------------------------------------------------------

修改了一下servlet的doPost方法,解决编码问题。我的页面是utf-8编码。

String indexUrl = requestgetParameter("indexUrl");

URL url = new URL(indexUrl);

InputStream is = urlopenStream();

// InputStream is = urlopenConnection()getInputStream();

InputStreamReader isr = new InputStreamReader(is,"utf-8");

char[] cs = new char[9999];

while(isrread(cs, 0, 9999)!=-1){

Systemoutprint(cs);

}

isclose();

JAVA中的类是具备某些共同特征的实体的集合,它是一种抽象的概念,用程序设计的语言来说,类是一种抽象的数据类型,它是对所具有相同特征实体的抽象。所谓对象就是真实世界中的实体,对象与实体是一一对应的,也就是说现实世界中每一个实体都是一个对象,对象是一种具体的概念。JAVA类打开网页有以下方法:

1、javanetURI uri = new javanetURI(">

javaawtDesktopgetDesktop()browse(uri);

2、RuntimegetRuntime()exec("rundll32 urldll,FileProtocolHandler >

这两种方法是可以打开,不过只能在服务端打开,如果有另一台机器访问我的机器,执行上边的程序后,也会在我本机显示baidu的页面。

3、如果是让他自动打开可以用robot类模拟鼠标单击右键双击等动作,还可以模拟输入。

4、如果要在网页做复杂 *** 作可以用swt做一个浏览器,可以控制他执行网站里的脚本,这个比较难点。

在工程中导入Jsoupjar包

获取网址url指定HTML或者文档指定的body

获取网页中超链接的标题和链接

获取指定博客文章的内容

获取网页中超链接的标题和链接的结果

import javaioBufferedReader;

import javaioInputStreamReader;

import javanet>

以上就是关于如何 用Java语言获得网页数据全部的内容,包括:如何 用Java语言获得网页数据、java得到请求来的页面HTML、JAVA类如何打开网页等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/web/9443135.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-28
下一篇2023-04-28

发表评论

登录后才能评论

评论列表(0条)

    保存