然后使用正则表达式来获取网页的特定内容,也可以使用其他方法,具体你搜索下吧.
也可逗亏以使用Document Object Model ,用核梁法自己去搜索吧,这里重复感觉没必要
提醒:最好是将链接和标题的区域从整个网页提取出来,到时候更容易处理 可以使用substr来提取
什么网页数据？
是打开 本地网页还是打开网上网页
如果是本地网页的话 在浏览器上输入127.0.0.1或者localhost进行访问
如果是外网我理解的是你要获取外网的一个网页，可以用代码或者程序来实现
（一般称为采集程序，或者小偷程序）
//个人认为curl好一点，因为curl可以模拟浏览器，有的网站会过滤机器人
//1.php代码//把网页读入一个字符串
$contone = file_get_contents('url')
print_r($contone)
//curl采集
#初始化curl （true/false）
$ch=curl_init()
#请求url地址
$params[CURLOPT_URL]='网址'
#是否返回响应头信息
$params[CURLOPT_HEADER] = true
#是否将结果返回
$params[CURLOPT_RETURNTRANSFER] = true
#是否重定向
$params[CURLOPT_FOLLOWLOCATION] = true
#伪造浏览器
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1 rv:9.0.1) Gecko/20100101 Firefox/9.0.1'
curl_setopt_array($ch, $params)
$content=curl_exec($ch)
//输出网页内容
print_r($content)
//下面是整个curl采集类
class Curl{
#采集的地址
public $url
#匹配的正则
public $preg
#模拟登录需要的用户名
public $username
#模拟登录需要的密码
档旁public $pwd
#cookie存储的路径
private $cookie_path
#采集数据的字符集
public $charset
/**
* 构造方法，初始化采集基本信息
* @param $url 采集的url
* @param $preg 匹配的正则
* @param string $username 用户名
* @param string $pwd 密空蠢裂码
* @param string $charset 字符集
*/
public function __construct($info){
extract($info)
$this->url=$url
$this->preg=$preg
if(isset($charset)){
header("content-type:text/htmlcharset=".$this->charset)
}else{
header("content-type:text/htmlcharset=utf-8")
}
if(isset($username)){
$this->username=$username
}
if(isset($pwd)){
$this->pwd=$pwd
}
}
/*
* 采集数据，非表单提交方式，直接采集的
*/
public function get_info(){
#初始化curl
$ch=curl_init()
#请求url地址
$params[CURLOPT_URL]=$this->url
#是否返回响应头信息
$params[CURLOPT_HEADER] = true
#是否将结果返回
$params[CURLOPT_RETURNTRANSFER] = true
#是否重定向
$params[CURLOPT_FOLLOWLOCATION] = true
#伪造浏览器
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1 rv:9.0.1) Gecko/20100101 Firefox/9.0.1'
//判断是否有cookie,有的话直接使用
//if (isset($_COOKIE['cookie_jar']) &&($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar']))){
// $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar'] //这里判断cookie
//} else {
// $cookie_jar = tempnam($this->cookie_path, 'cookie') //产生一个cookie文件
// $params[CURLOPT_COOKIEJAR] = 斗闭$cookie_jar //写入cookie信息
// setcookie('cookie_jar', $cookie_jar) //保存cookie路径
//}
#开始发送请求，传入curl参数
curl_setopt_array($ch, $params)
$content=curl_exec($ch)
preg_match_all($this->preg,$content,$arr)
return $arr
}
/**
* 采集远程图片
* @param $img 图片路径 是一个数组
* @param $save_path 图片保存在你本地的路径
* @return bool
*/
public function get_img($img,$save_path){
for($i=0$i<count($img)$i++) {
$res=@file_get_contents($img[$i])
$img_type=substr($img[$i], strrpos($img[$i], "."))
$path=$save_path.time().rand(1,9999999).mt_rand() .$img_type
$img[$i] = $path
file_put_contents($path,$res)
}
return $img
}
//登录后采集
public function register_info(){
//采集的信息需要先登录的就要先模拟登录
//设置cookie保存路径
$ch = curl_init()
//组装用户名和密码
$info['username'] = $this->username
$info['password'] = $this->pwd
//模拟表单提交
$params[CURLOPT_URL] = $this->url //请求url地址
$params[CURLOPT_HEADER] = true //是否返回响应头信息
$params[CURLOPT_RETURNTRANSFER] = true //是否将结果返回
$params[CURLOPT_FOLLOWLOCATION] = true //是否重定向
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1 rv:9.0.1) Gecko/20100101 Firefox/9.0.1'
$postfields = ''
//将表单要提交的数据编程URL拼接方式
foreach ($info as $key => $value){
$postfields .= urlencode($key) . '=' . urlencode($value) . '&'
}
$params[CURLOPT_POST] = true
$params[CURLOPT_POSTFIELDS] = $postfields
//判断是否有cookie,有的话直接使用
if (isset($_COOKIE['cookie_jar'])&&($_COOKIE['cookie_jar']||is_file($_COOKIE['cookie_jar']))){
$params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar'] //这里判断cookie
}else{
$cookie_jar = tempnam($this->cookie_path, 'cookie') //产生一个cookie文件
$params[CURLOPT_COOKIEJAR] = $cookie_jar //写入cookie信息
setcookie('cookie_jar', $cookie_jar) //保存cookie路径
}
curl_setopt_array($ch, $params) //传入curl参数
$content = curl_exec($ch) //执行
return $content
}
}
可以参考以下几种方法：
方法一： file_get_contents获取
<span style="white-space:pre"> </span>$url="http://www.baidu.com/"
<span style="white-space:pre"> </span>$fh= file_get_contents
('http://www.hxfzzx.com/news/fzfj/')<span style="white-space:pre"> </span>echo $fh
方法二：使用fopen获取网页源代码
<span style="white-space:pre">余返 </span>$url="http://www.baidu.com/"
<span style="white-space:pre"> </span>$handle = fopen ($url, "rb")
<span style="white-space:pre"> </span>$contents = ""
<span style="white-space:pre"> </span>while (!feof($handle)) {
<span style="white-space:pre"> </span>$contents .= fread($handle, 8192)
<span style="white-space:pre"> </span>}
<span style="white-space:pre"> </span>fclose($handle)
<span style="white-space:pre"> </span>echo $contents//输出获取到得内容。
方法三：使用CURL获取网页源代码
$url="http://www.baidu.com/"
$UserAgent = 'Mozilla/4.0 (compatibleMSIE 7.0Windows NT 6.0SLCC1.NET CLR 2.0.50727.NET CLR 3.0.04506.NET CLR 3.5.21022.NET CLR 1.0.3705.NET CLR 1.1.4322)'
$curl = curl_init() //创建一个新的CURL资源
curl_setopt($curl, CURLOPT_URL, $url) //设置URL和相应的选项
curl_setopt($curl, CURLOPT_HEADER, 0) //0表示不输出Header，1表示输出
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1) //设定是否显示头信息,1显示，0不显示。//如果成功只将结果返回，不自动输出任何内容。如果失败返回FALSE
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false)
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false)
curl_setopt($curl, CURLOPT_ENCODING, '') //设置编码格式，为空表示支持所有格式的编码
//header中“Accept-Encoding: ”部分的内容，支持的编码格式为："identity"，袭毁岁"deflate"，"gzip"。
curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent)
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1)
//设置这个选项为一个非零值(象 “Location: “)的头，服务器会把它当做HTTP头的一部分发送(注意这是递归的，PHP将发送形如 “Location: “的头)。
$data = curl_exec($curl)
echo $data
//echo curl_errno($curl)//返回0时表示程序执行成功
curl_close($curl) //关闭cURL资源，并释放系统资源
拓展资料
PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源拍睁脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。
用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。
参考资料：PHP（超文本预处理器)-百度百科
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）