Java中使用jsoup解析HTML

时间:2022-04-23 07:39:25


1、引言:什么是jsoup?

jsoup是java世界里面的一份子,它是用来对html文档进行解析的工具类。它的用途很多,比如我们要解析某个网站上的一些资源?再或者我们在CSDN上输入一段html的代码,那么编辑器如何识别?这个时候就会有类似jsoup这样的工具来帮我们做这种事情。在以java为主的语言中,jsoup是公认做得最好的。


2、解析一个html文档

当我们的都一个html文档,可以使用静态Jsoup.parse(String html) 方法或 Jsoup.parse(String html, String baseUri)类进行解析。

下文是一段简单的示例代码:

String html = "<html><head><title>First parse</title></head>"
+ "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);

注意:解析的不能是空字符串,其中包含(至少) 一个head和一个body元素。


3、解析一个body片断

有时候,我们不能得到一个完整的html文档,或者说条件限制,我们不需要得到一个完整的html文档,只需要其中的部分。那么,这个时候我们又该如何处理呢?

这里,jsoup为我们提供了Jsoup.parseBodyFragment(String html)方法.

下文是一段简单的示例代码:

String html = "<div><p>This is an example!</p>";
Document doc = Jsoup.parseBodyFragment(html);
Element body = doc.body();

4、加载一个网页

加载网页是我们在解析html文档时候最常用的,比如,在Android应用中,我么可以根据某内容网站提供的东西,解析他的网站布局,然后得到一些有用的信息。

嘿嘿,我曾经这么做过,解析效果还行。在jsoup中,提供了一个静态方法Jsoup.connect(String url);

下文是一段简单的示例代码:

// 仅以百度首页为例
Document doc = Jsoup.connect("http://www.baidu.com/").get();
String title = doc.title();

5、加载本地文档

在Android开发过程中,我们有一些页面上的功能,是不需要联网的,但是数据需要展示给用户,而这些数据也不是很重要,没必要存在数据库中。有经验的开发人员应该已经知道我说的是什么了,没错,这就是用户协议、用户须知以及关于我们等软件中的信息。

这个时候,我们可以使用网页的方式,直接存储在本地的Assest目录下,作为一个html文档即可。

jsoup为我们提供了Jsoup.parse(File in, String charsetName, String baseUri)方法:

File input = new File("/tmp/index.html");
Document doc = Jsoup.parse(input, "UTF-8", null);
注意:baseUri 参数用于解决文件中URLs是相对路径的问题。如果不需要可以传入一个空的字符串。


6、使用Dom解析文档

在开发过程中,单纯的加载网页还是比较少的,更多的时候,我们需要解析一下这个文档中的内容,提取我们需要的数据,这里,jsoup提供了一系列的方法,我简单摘抄如下:

//查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)

//元素数据
attr(String key)获取属性attr(String key, String value)设置属性
attributes()获取所有属性
text()获取文本内容text(String value) 设置文本内容
html()获取元素内HTMLhtml(String value)设置元素内的HTML内容
outerHtml()获取元素外HTML内容

7、获取元素的值

当我们得到一些属性之后,我们还需要得到其中的值,比如图片地址,文本描述等信息,这里,jsoup也为我们提供了一些方法:

要取得一个属性的值,可以使用Node.attr(String key) 方法
对于一个元素中的文本,可以使用Element.text()方法
对于要取得元素或属性中的HTML内容,可以使用Element.html(), 或 Node.outerHtml()方法


8、完整示例

上面介绍的一些jsoup的使用方法,已经足够使用了,这里我们再提供一个完整的示例如下:

import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

/**
* Example program to list links from a URL.
*/
public class ListLinks {
public static void main(String[] args) throws IOException {
Validate.isTrue(args.length == 1, "usage: supply url to fetch");
String url = args[0];
print("Fetching %s...", url);

Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
Elements media = doc.select("[src]");
Elements imports = doc.select("link[href]");

print("\nMedia: (%d)", media.size());
for (Element src : media) {
if (src.tagName().equals("img"))
print(" * %s: <%s> %sx%s (%s)",
src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
trim(src.attr("alt"), 20));
else
print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
}

print("\nImports: (%d)", imports.size());
for (Element link : imports) {
print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));
}

print("\nLinks: (%d)", links.size());
for (Element link : links) {
print(" * a: <%s> (%s)", link.attr("abs:href"), trim(link.text(), 35));
}
}

private static void print(String msg, Object... args) {
System.out.println(String.format(msg, args));
}

private static String trim(String s, int width) {
if (s.length() > width)
return s.substring(0, width-1) + ".";
else
return s;
}
}

9、更多介绍

更多介绍,可以参考jsoup官方网站