HTML解析器Jsoup
Jsoup简介
jsoup是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下:
- 从一个URL,文件或字符串中解析HTML;
- 使用DOM或CSS选择器来查找、取出数据;
- 可操作HTML元素、属性、文本;( Jsoup一般用于解析爬到的数据并存储, 很少用到操作 )
Jsoup使用
pom文件引入依赖
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.15.4</version>
</dependency>
<dependency>
<groupId>com.alibaba.fastjson2</groupId>
<artifactId>fastjson2</artifactId>
<version>2.0.26</version>
</dependency>
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.4</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.4</version>
</dependency>
解析和遍历一个HTML文档
String html = "<html><head><title>First parse</title></head>"
+ "<body><p>Parsed HTML into a doc.</p></body></html>";
Document doc = Jsoup.parse(html);
//把p标签的內容打印出来
System.out.println(doc.select("p").text());
Jsoup解析URL
Jsoup可以直接输入url,它会发起请求并获取数据,封装为Document对象
// 解析url地址, 第一个参数是访问的url, 第二个参数时访问时候的超时时间
Document doc = Jsoup.parse(new URL("http://www.baidu.com"), 5000);
// 使用标签选择器, 获取title标签中的内容
String title = doc.getElementsByTag("title").first().text();
//打印
System.out.println(title);
虽然使用Jsoup可以替代HttpClient直接发起请求解析数据,但是往往不会这样用,因为实际的开发过程中,需要使用到多线程,连接池,代理等等方式,而jsoup对这些的支持并不是很好,所以我们一般把jsoup仅仅作为Html解析工具使用。
Jsoup解析字符串
// 使用工具类读取文件, 获取字符串
String content = FileUtils.readFileToString(new File("D:\\ideawork\\hello-world\\src\\main\\resources\\static\\index.html"), "utf8");
// 解析字符串
Document doc = Jsoup.parse(content);
String title = doc.getElementsByTag("title").first().text();
System.out.println(title);
Jsoup解析文字
// 解析文件
Document doc = Jsoup.parse(new File("D:\\ideawork\\hello-world\\src\\main\\resources\\static\\index.html"), "utf8");
String title = doc.getElementsByTag("title").first().text();
System.out.println(title);
使用Dom方式遍历文档
// 解析文件件, 获取Document对象
Document doc = Jsoup.parse(new File("D:\\ideawork\\hello-world\\src\\main\\resources\\static\\index.html"), "utf8");
// 1.根据id查询元素getElementById
Element element = doc.getElementById("city_bj");
// 2.根据标签获取元素getElementsByTag
Elements spans = doc.getElementsByTag("span");
// 3.根据class获取元素getElementsByClass, 以下表示必须包含class_a和class_b
Element a = doc.getElementsByClass("class_a class_b").first();
// 4.根据属性获取元素getElementsByAttribute
Element abc = doc.getElementsByAttribute("abc").first();
// 5.根据属性与属性值筛选, 即查找href=http://www.baidu.com的第一个元素
Element href = doc.getElementsByAttributeValue("href", "http://www.baidu.com").first();
// 打印元素内容
System.out.println("获取到的元素内容是: " + element.text());
for (Element span : spans) {
System.out.println(span.text());
}
System.out.println(a.text());
System.out.println("abc.text() = " + abc.text());
System.out.println("href.text() = " + href.text());
Selector选择器
Selector选择器概述
- tagname: 通过标签查找元素,比如:a
- ns|tag: 通过标签在命名空间查找元素,比如:可以用 fb|name 语法来查找 <fb:name> 元素
- #id: 通过ID查找元素,比如:#logo
- .class: 通过class名称查找元素,比如:.masthead
- [attribute]: 利用属性查找元素,比如:[href]
- [^attr]: 利用属性名前缀来查找元素,比如:可以用[^data-] 来查找带有HTML5 Dataset属性的元素
- [attr=value]: 利用属性值来查找元素,比如:[width=500]
- [attr^=value], [attr$=value], [attr*=value] 利用匹配属性值开头、结尾或包含属性值来查找元素,比如:[href*=/path/]
- [attr~=regex]: 利用属性值匹配正则表达式来查找元素,比如: img[src~=(?i).(png|jpe?g)]
- *: 这个符号将匹配所有元素
Selector选择器组合使用
- el#id: 元素+ID,比如: div#logo
- el.class: 元素+class,比如: div.masthead
- el[attr]: 元素+class,比如: a[href]
- 任意组合,比如:a[href].highlight
- ancestor child: 查找某个元素下子元素,比如:可以用.body p 查找在"body"元素下的所有 p元素
- parent > child: 查找某个父元素下的直接子元素,比如:可以用div.content > p 查找 p 元素,也可以用body > * 查找body标签下所有直接子元素
- siblingA + siblingB: 查找在A元素之前第一个同级元素B,比如:div.head + div
- siblingA ~ siblingX: 查找A元素之前的同级X元素,比如:h1 ~ p
- el, el, el:多个选择器组合,查找匹配任一选择器的唯一元素,例如:div.masthead, div.logo
伪选择器selectors
- :lt(n): 查找哪些元素的同级索引值(它的位置在DOM树中是相对于它的父节点)小于n,比如:td:lt(3) 表示小于三列的元素
- :gt(n):查找哪些元素的同级索引值大于n,比如: div p:gt(2)表示哪些div中有包含2个以上的p元素
- :eq(n): 查找哪些元素的同级索引值与n相等,比如:form input:eq(1)表示包含一个input标签的Form元素
- :has(seletor): 查找匹配选择器包含元素的元素,比如:div:has(p)表示哪些div包含了p元素
- :not(selector): 查找与选择器不匹配的元素,比如: div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
- :contains(text): 查找包含给定文本的元素,搜索不区分大不写,比如: p:contains(jsoup)
- :containsOwn(text): 查找直接包含给定文本的元素
- :matches(regex): 查找哪些元素的文本匹配指定的正则表达式,比如:div:matches((?i)login)
- :matchesOwn(regex): 查找自身包含文本匹配指定正则表达式的元素
上述伪选择器索引是从0开始的,也就是说第一个元素索引值为0,第二个元素index为1等
// 解析html文件, 获取Document对象
Document doc = Jsoup.parse(new File("D:\\ideawork\\hello-world\\src\\main\\resources\\static\\index.html"), "utf8");
//el#id: 元素+ID,比如: h3#city_bj
//Element element = doc.select("h3#city_bj").first();
//el.class: 元素+class,比如: li.class_a
//Element element = doc.select("li.class_a").first();
//el[attr]: 元素+属性名,比如: span[abc]
//Element element = doc.select("span[abc]").first();
//任意组合: 比如:span[abc].s_name, span标签有abc属性,并且有名为s_name的css class
Element element = doc.select("span[abc].s_name").first();
//ancestor child: 查找某个元素下子元素,比如:.city_con li 查找"city_con"下的所有li
//Elements elements = doc.select(".city_con li");
//parent > child: 查找某个父元素下的直接子元素,比如:
// .city_con > ul > li 查找city_con第一级(直接子元素)的ul,再找所有ul下的第一级li
//Elements elements = doc.select(".city_con > ul > li");
//parent > *: 查找某个父元素下所有直接子元素
Elements elements = doc.select(".city_con > ul > *");
// 打印
System.out.println("获取到的内容是: " + element.text());
for (Element ele : elements) {
System.out.println("遍历的结果: " + ele.text());
}
从元素抽取属性,文本和HTML
- 在解析获得一个Document实例对象,并查找到一些元素之后,你希望取得在这些元素中的数据。
- 要取得一个属性的值,可以使用Node.attr(String key) 方法,对于一个元素中的文本,可以使用Element.text()方法,对于要取得元素或属性中的HTML内容,可以使用Element.html(), 或 Node.outerHtml()方法
String html = "<p>An <a href='http://example.com/'><b>example</b></a> link.</p>";
Document doc = Jsoup.parse(html);//解析HTML字符串返回一个Document实现
Element link = doc.select("a").first();//查找第一个a元素
String text = doc.body().text(); // "An example link"//取得字符串中的文本
String linkHref = link.attr("href"); // "http://example.com/"//取得链接地址
String linkText = link.text(); // "example""//取得链接地址中的文本
String linkOuterH = link.outerHtml();
// "<a href="http://example.com"><b>example</b></a>"
String linkInnerH = link.html(); // "<b>example</b>"//取得链接内的html内容
获取所有链接
这个示例程序将展示如何从一个URL获得一个页面。然后提取页面中的所有链接、图片和其它辅助内容。并检查URLs和文本信息。
import org.apache.commons.lang3.Validate;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
public class ListLinks {
public static void main(String[] args) throws IOException {
Validate.isTrue(args.length == 1, "usage: supply url to fetch");
String url = args[0];
print("Fetching %s...", url);
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
Elements media = doc.select("[src]");
Elements imports = doc.select("link[href]");
print("\nMedia: (%d)", media.size());
for (Element src : media) {
if (src.tagName().equals("img"))
print(" * %s: <%s> %sx%s (%s)",
src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
trim(src.attr("alt"), 20));
else
print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
}
print("\nImports: (%d)", imports.size());
for (Element link : imports) {
print(" * %s <%s> (%s)", link.tagName(), link.attr("abs:href"), link.attr("rel"));
}
print("\nLinks: (%d)", links.size());
for (Element link : links) {
print(" * a: <%s> (%s)", link.attr("abs:href"), trim(link.text(), 35));
}
}
private static void print(String msg, Object... args) {
System.out.println(String.format(msg, args));
}
private static String trim(String s, int width) {
if (s.length() > width)
return s.substring(0, width - 1) + ".";
else
return s;
}
}
消除不受信任的HTML (来防止XSS攻击)
在做网站的时候,经常会提供用户评论的功能。有些不怀好意的用户,会搞一些脚本到评论内容中,而这些脚本可能会破坏整个页面的行为,更严重的是获取一些机要信息,此时需要清理该HTML,以避免跨站脚本cross-site scripting攻击(XSS)。
使用jsoup HTML Cleaner 方法进行清除,但需要指定一个可配置的 Whitelist。
String unsafe = "<p><a href='http://example.com/' onclick='stealCookies()'>Link</a></p>";
String safe = Jsoup.clean(unsafe, Whitelist.basic());
// now: <p><a href="http://example.com/" rel="nofollow">Link</a></p>
XSS又叫CSS (Cross Site Script) ,跨站脚本攻击。它指的是恶意攻击者往Web页面里插入恶意html代码,当用户浏览该页之时,嵌入其中Web里面的html代码会被执行,从而达到恶意攻击用户的特殊目的。XSS属于被动式的攻击,因为其被动且不好利用,所以许多人常忽略其危害性。所以我们经常只让用户输入纯文本的内容,但这样用户体验就比较差了。一个更好的解决方法就是使用一个富文本编辑器WYSIWYG如CKEditor 和 TinyMCE。这些可以输出HTML并能够让用户可视化编辑。虽然他们可以在客户端进行校验,但是这样还不够安全,需要在服务器端进行校验并清除有害的HTML代码,这样才能确保输入到你网站的HTML是安全的。否则,攻击者能够绕过客户端的Javascript验证,并注入不安全的HMTL直接进入您的网站。
jsoup的whitelist清理器能够在服务器端对用户输入的HTML进行过滤,只输出一些安全的标签和属性。
jsoup提供了一系列的Whitelist基本配置,能够满足大多数要求;但如有必要,也可以进行修改,不过要小心。
这个cleaner非常好用不仅可以避免XSS攻击,还可以限制用户可以输入的标签范围。
Jsoup基本API
Jsoup获取Document的三种方法
读取取字符串的方式获取Document
获取完整的字符串内容
String html = "<html> <div> <h1>h1标签</h1> <span>span标签</span> </div> </html>";
Document document = Jsoup.parse(html);
System.out.println(document);
获取部分字符串内容
String html = "<html> <div> <h1>h1标签</h1> <span>span标签</span> </div> </html>";
Document document = Jsoup.parse(html);
//此处就像 JavaScript 的选择器
Elements div = document.getElementsByTag("div");
System.out.println(div);
使用 GET 或则 POST 方式获取 Document
通过GET方式获取
Document document;
try {
//get 请求
System.out.println("GET 请求方式获取数据");
document = Jsoup.connect("http://www.baidu.com").get();
System.out.println(document);
System.out.println();
} catch (IOException e) {
e.printStackTrace();
}
通过POST方式获取
Document document;
try {
//POST请求
System.out.println("POST 请求方式获取数据");
document = Jsoup.connect("http://www.baidu.com")
.data("wd", "生活") //添加请求数据参数。
.userAgent("Mozilla AppleWebKit Chrome Safari Edg") //设置请求用户代理头。
.cookie("auth", "token") //设置请求中要发送的 cookie。
.timeout(2000) //设置超时时间
.post();
System.out.println(document);
} catch (IOException e) {
e.printStackTrace();
}
在文件中获取 Document
File file = new File("src/main/resources/index.html");
Document document = null;
try {
document = Jsoup.parse(file, "UTF-8");
System.out.println(document);
} catch (IOException e) {
e.printStackTrace();
} finally {
if (document != null){
document.clone();
}
}
使用 Document 通过选择器获取 Elements
常用的方法:
- select(String cssQuery):查找与SelectorCSS查询匹配的元素,类似于 JQuery 的选择器。
- getElementById(String id):通过ID查找元素
- getElementsByClass(String className):通过class查找元素
- getElementsByTag(String tagName) 通过指定名称查找元素,并递归地查找这些元素。
- getAllElements():在此元素下找到所有元素。
- firstElementSibling():获取此元素的第一个元素同级
- getElementsByAttributeStarting(String keyPrefix):查找具有以提供的前缀开头的属性名称的元素
- getElementsByAttributeValue(String key, String value): 查找具有具有特定值的属性的元素
- getElementsByAttributeValueContaining(String key, String match):查找具有其值包含匹配字符串的属性的元素
- getElementsByAttributeValueStarting(String key, String valuePrefix):查找具有以值前缀开头的属性的元素
- getElementsByAttributeValueEnding(String key, String valueSuffix):查找具有以值后缀结尾的属性的元素
- getElementsContainingText(String searchText) :查找包含指定字符串的元素
创建一个 index.html 文件,内容如下:
<html>
<head>
<title>hello页面</title>
</head>
<body>
<div class="boxClass">class div 盒子</div>
<div id="boxId">Id div 盒子</div>
<div><span>div 下的 span 标签</span></div>
</body>
</html>
Java示例代码:
File file = new File("src/main/resources/index.html");
Document document = null;
try {
document = Jsoup.parse(file, "UTF-8");
//select 类似于 JQuery 选择器
Elements e1 = document.select("body>div>span"); //<span>div 下的 span 标签</span>
System.out.println(e1);
//getElementById id 选择器
Element e2 = document.getElementById("boxId");
System.out.println(e2);//<div id="boxId"> Id div 盒子 </div>
//getElementsByClass class 选择器
Elements e3 = document.getElementsByClass("boxClass");
System.out.println(e3);//<div class="boxClass"> class div 盒子 </div>
//getAllElements
Elements e4 = document.getElementsByTag("span");
System.out.println(e4);//<span>div 下的 span 标签</span>
//...
} catch (IOException e) {
e.printStackTrace();
} finally {
if (document != null) {
document.clone();
}
}
获取 Elements 的内容
常用的方法:
- html():检索元素的内部HTML。
- html(String html):设置此元素的内部HTML。
- text():获取此元素及其所有子元素的组合文本。
- text(String text):设置文档的文本。
java示例代码:
File file = new File("src/main/resources/index.html");
Document document = null;
try {
document = Jsoup.parse(file, "UTF-8");
//html:不带参数是获取 html,带参数是设置 html
String html = document.select("body").html();
System.out.println(html);
//text:不带参数是获取 text,带参数是设置 text
String text = document.select("body").text();
System.out.println(text);//class div 盒子 Id div 盒子 div 下的 span 标签
} catch (IOException e) {
e.printStackTrace();
} finally {
if (document != null) {
document.clone();
}
}
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战