使用scrapy做爬虫，xpath选择器为什么无法定位到网页的某些节点

如果你是在浏览器 开发工具 提取的xpath，很多情况下是不能用到scrapy中的，

因为浏览器看到的dom树可能是js脚本动态修改过的（这种情况非常常见），你需要直接查看html源码，分析。

我认为是xpath默认提取xpath第一个tr属性了，xpath 表达式改成'//div[@class="row"]//table//tr[@height="38px" or @height=""]'

1、正则提取器          适用于所有返回的格式

2、json提取器            只 适用于返回的是json格式的数据

3、边界值提取器        适用于所有返回的格式

4、xpath提取器            只 适用于返回的是html或者xml格式的数据

首先要搞清楚要提取的内容在哪里？响应头，响应body提取数据

如果是从响应body中提取数据，那么要搞清楚返回的是什么格式的数据，对于不同的格式返回数据，采用不同的提取器来实现数据的提取

定义说明：引用名称: info_status表示变量名，不用多说

正则表达式：这里的一对括号就是一个模板，两对括号就是两个模板

模板：这里Jmeter你要匹配哪个或哪些模板，$1$表示匹配第一个模板(就是正则表达式里的第一对括号)

匹配数字：告诉 JMeter如果匹配到了多个符合要求的，你要哪一个这里我填写0，0表示随机，-1表示全部，1表示第一个，2表示第二个

缺省值：没有匹配到数据时的默认值，不用多说

1 爬取网站 笔趣阁小说

2 网站地址 >

以上就是关于使用scrapy做爬虫，xpath选择器为什么无法定位到网页的某些节点全部的内容，包括:使用scrapy做爬虫，xpath选择器为什么无法定位到网页的某些节点、python3.7爬虫使用xpath解析，获取的表格数据为什么不全面、Jmeter提取器-正则，json，xpath，边界值提取器等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！