如何使用用户代理使用Wget下载网页

如何使用用户代理使用Wget下载网页,第1张

概述我正在尝试使用Wget下载此页面。这是页面链接: 07000 这是我的cmd: wget -O ebay.html –user-agent=”Mozilla/5.0 (Windows NT 5.2; rv:2.0.1) Gecko/20100101 Firefox/4.0.1″ “07000” 当我使用它访问页面使用浏览器工作正常。当我使用Wget,它会下载另一个页面,而不是原来的页面。我认为问题 我正在尝试使用Wget下载此页面。这是页面链接: @H_419_2@

07000

这是我的cmd:

@H_419_2@

wget -O ebay.HTML –user-agent=”Mozilla/5.0 (windows NT 5.2; rv:2.0.1) Gecko/20100101 firefox/4.0.1″ “07000”

当我使用它访问页面使用浏览器工作正常。当我使用Wget,它会下载另一个页面,而不是原来的页面。我认为问题是用户代理。有什么解决方案?

解决方法 问题不是用户代理,它是一个丢失的cookie或cookie。解决方案是

>使用wget –save-cookies = ebay-cookies检索正常的产品页面,
>从该HTML文件中取出“打印”链接URL。 (我手工做了,你应该明白地写一个脚本去做)
>使用wget –load-cookies = ebay-cookies检索“打印”URL

我试过一个随机产品页面;有效。

总结

以上是内存溢出为你收集整理的如何使用用户代理使用Wget下载网页全部内容,希望文章能够帮你解决如何使用用户代理使用Wget下载网页所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/web/1111843.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2022-05-29
下一篇2022-05-29

发表评论

登录后才能评论

评论列表(0条)

    保存