linux 怎么把一个网站的所有网页下载下来?

linux 怎么把一个网站的所有网页下载下来?,第1张

你这个是要使用使用 wget 下载整个网站

wget的用法《Linux就该这么学》中有命令大全 其中

基本用法是 wget url

使用wget后面加你要网站的网址

但是大部分网站不允许你下载所有网站的内容,如果网站检测不到浏览器标识,会拒绝你的下载连接或者给你发送回一个空白网页。这个时候在wget后面加上 user-agent 就可以:

简单地说,就是使用socket向目标服务器发送一个字节流。这个字节流必须符合http请求头的格式。目标服务器会根据http请求头进行相应。

以前练过手,代码找不到了。找了一篇博客,写得很详细。代码没有排版,不过也没关系,重在思想。

如果看完了还不懂或者理解不了代码,可追问


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/yw/7561579.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-07
下一篇2023-04-07

发表评论

登录后才能评论

评论列表(0条)

    保存