2.2 Xpath-helper (chrome插件) 爬虫、网页分析解析辅助工具

时间:2022-03-08 18:50:09

1. Xpath-helper下载

可以直接在chrome浏览器中的扩展程序搜索 Xpath-helper进行添加

也可以直接在http://www.chromein.com/crx_11654.html  ,选择本站下载,并进行添加。

2.Xpath-helper使用

安装好之后,我们重新打开浏览器,按ctrl+shift+x就能调出xpath-helper框

如果我们要查找某一个、或者某一块元素的xpath路径,可以按住shift,并移动到这一块中,上面的框就会显示这个元素的xpath路径,右边则会显示解析出的文本内容,并且我们可以自己改动xpath路径,程序也会自动的显示对应的位置,可以很方便的帮助我们判断我们的xpath语句是否书写正确。

虽然这个小插件使用非常方便,但它也不是万能的,有两个问题:

1.XPath Helper 自动提取的 XPath 都是从根路径开始的,这几乎必然导致 XPath 过长,不利于维护;

2.当提取循环的列表数据时,XPath Helper 是使用的下标来分别提取的列表中的每一条数据,这样并不适合程序批量处理,还是需要人为修改一些类似于*标记等。

2.在开发者工具:右击已选字段,点击Copy XPath即可将该字段的XPath保存到浏览器剪贴板上,如下图所示:

2.2  Xpath-helper (chrome插件)  爬虫、网页分析解析辅助工具

3、在XPath中,如果使用class属性来定位元素,最好使用contains函数,因为元素可能含有多个class

{
name: "article_publish_time",
selector: "//span[contains(@class,'date')]/span"
},