如何读取网页里的内容

获取文本框中的内容有以下两种方法：

假设为如下文本框：

1

<input type="text" value="" id="text">

1、原生JS获取文本框的值：

1

documentgetElementById("text")value //text为文本框的id

2、jquery获取文本框的值：

1

$("#text")val()

两类网站可以用不同的方法去爬取

一、开放API的网站

一个网站如果开放了API，那么就可以直接GET到它的json数据。有三种方法可以判断一个网站是否开放了API。

1、在站内寻找API入口；

2、用搜索引擎搜索“某网站API”；

3、抓包。有的网站虽然用到了ajax，但是通过抓包还是能够获取XHR里的json数据的（可用抓包工具抓包，也可以通过浏览器按F12抓包：F12-Network-F5刷新）。

二、不开放API的网站

1、如果网站是静态页面，那么可以用requests库发送请求，再通过HTML解析库（lxml、parsel等）来解析响应的text；解析库强烈推荐parsel，不仅语法和css选择器类似，而且速度也挺快，Scrapy用的就是它。

2、如果网站是动态页面，可以先用selenium来渲染JS，再用HTML解析库来解析driver的page_source。

package test;

import javaioBufferedReader;

import javaioIOException;

import javaioInputStream;

import javaioInputStreamReader;

import javanetAuthenticator;

import javanet>

工具：电脑

提取网页文字方法：

一、当网页文字支持复制时：

打开网页，用左键选择需要提取的文字，点击右键——复制即可，如图。

二、当网页不支持复制时，可以：

1、打开网页，用左键选择需要提取的文字，点击右键，选择保存为文本；

2、保存到桌面，如图；

3、在桌面打开该文件，右键递减复制即可。

这个要看具体网页的内容不同情况不同对待：

网页内容为纯文字，没有特殊代码，可以直接ctrl+c然后打开记事本粘贴，或者浏览器菜单栏，另存为，html文件即可。

网页包含等素材文件，就不能单纯的复制了，简单的方式是，浏览器另存为html和所有文件，会包含等素材为静态文件。

网页上包含视频文件，这个比较复杂，需要根据网页代码，查找视频源，单独保存，其他的按图文的方式保存即可。视频情况很复杂，甚至包含有加密的情况，就需要单独对待了。

部分公司或媒体，需要针对性对某网站，实现大量内容全部提取，就只能依靠专业团队和工具针对性研发网站数据提取流程。

Byte[] pageData = MyWebClientDownloadData(tbUrlText); //从指定网站下载数据string pageHtml = EncodingDefaultGetString(pageData); //把字节转化为字符串，注意编码方式2、使用WebBrowser控件//通过WebBrowser空间访问网页，然后获取网页数据WebBrowser web = new WebBrowser();webNavigate(tbUrlText);webDocumentCompleted += new WebBrowserDocumentCompletedEventHandler(web_DocumentCompleted); //当网页加载完成时触发该事件，获取网页数据void web_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e){//获取该html页面内的Table标签的内容WebBrowser web = (WebBrowser)sender;HtmlElementCollection ElementCollection = webDocumentgetElementsByTagName_r("Table");foreach (HtmlElement item in ElementCollection) {textBox1AppendText(itemInnerText + "\n");} }3、使用>

以上就是关于如何读取网页里的内容全部的内容，包括:如何读取网页里的内容、如何爬取网站上的某一信息、java如何获取网页中的文字等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！