使用jsoup轻松爬数据

时间:2022-10-31 11:20:44

刚刚学习爬虫,感觉使用jsoup爬虫挺容易的。记录一下自己爬取数据的过程。

Jsoup介绍:

Jsoup 是一个 Java 的开源HTML解析器,可直接解析某个URL地址、HTML文本内容。使用Jsoup首先需要引入Jsoup.jar包或者添加依赖,可以到Jsoup官网查看。

elements类相当于网页元素中的标签,而select()方法用于按一定条件选取符合条件的标签,组成符合条件的标签数组。element支持转成字符串或者文本等。总之功能很强大。只需要了解一下select()方法的过滤规则即可上手用了。但是有了谷歌浏览器!过滤规则都不用管了,直接上手用!

来个简单的示例: 

爬取一下我们平时使用百度搜索的网页,首先用谷歌浏览器打开百度网页,打开开发者模式(快捷键ctrl+shift+I)。

右键点击代码行,copy–>copy selector 

可以贴出来看看copy到的东西:

head > title

表明了目标在网页代码中的位置,每个>前后面都代表一个检索条件。那么我们要得到这个标签,只要这样写:

1 String URL="https://www.baidu.com/"; //目标网址
2 Document doc=Jsoup.connect(URL).get();
3  //在下载的document里进行检索的语句
4 Elements test=doc.select("head").select("title");
5 //这样test标签就是我们最开始右键单击检查的标签
6 String str=test.toString();//将标签转化成字符串
7 String text=test.text();//将标签里的文本提取出来
8 System.out.println(str);
9 System.out.println(text);                   

 

运行结果:

<title>百度一下,你就知道</title>
百度一下,你就知道