爬虫使用xpath部分内容无法获取

爬虫使用xpath部分内容无法获取,第1张

使用xpath获取信息,同一个网页的不同内容,有的可以,有的无法获取

网页中的内容是通过js代码读取外部json数据来动态更新的。
requests只能获取网页的静态源代码,动态更新的内容取不到。
对于动态更新的内容要用selenium 来爬取。

或者是通过F12控制台分析页面数据加载的链接,找到真正json数据的地址进行爬取。

在页面上点击右键,右键菜单中选 "查看网页源代码"。

参考:(1条消息) 关于xpath返回空列表的问题-Python-CSDN问答

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/langs/919115.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2022-05-16
下一篇2022-05-16

发表评论

登录后才能评论

评论列表(0条)

    保存