pyquery的使用
使用 pyquery
若对 Web 有所涉及，比较喜欢用 CSS 选择器，对 jQuery 有所了解，可以使用解析库 ——pyquery。
准备工作
安装 pyquery库
pip3 install pyquery
初始化
像 Beautiful Soup 一样，初始化 pyquery 的时候，也需要传入 HTML 文本来初始化一个 PyQuery 对象。它的初始化方式有多种，比如直接传入字符串，传入 URL，传入文件名等。
字符串初始化
html = ''' <div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> ''' from pyquery import PyQuery as pq doc = pq(html) print(doc('li'))
运行结果：
引入 PyQuery 这个对象，取别名为 pq。然后声明了一个长 HTML 字符串，并将其当作参数传递给 PyQuery 类完成初始化。然后将初始化的对象传入 CSS 选择器。在这个实例中，传入 li 节点就可以选择所有的 li 节点。
URL 初始化
初始化的参数还可以传入网页的 URL，此时只需要指定参数为 url ：
from pyquery import PyQuery as pq doc = pq(url='http://www.baidu.com', encoding='utf-8') print(doc('title'))
运行结果：
<title>百度一下，你就知道</title>
PyQuery 对象会首先请求这个 URL，然后用得到的 HTML 内容完成初始化，这其实就相当于用网页的源代码以字符串的形式传递给 PyQuery 类来初始化。
它与下面的功能是相同的：
from pyquery import PyQuery as pq import requests doc = pq(requests.get('http://www.baidu.com').text) print(doc('title'))
文件初始化
还可以传递本地的文件名，参数指定为 filename 即可：
from pyquery import PyQuery as pq doc = pq(filename='demo.html') print(doc('li'))
需要有一个本地 HTML 文件 demo.html，其内容是待解析的 HTML 字符串。首先读取本地的文件内容，然后用文件内容以字符串的形式传递给 PyQuery 类来初始化。
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Demo HTML</title> </head> <body> <ul> <li>Item 1</li> <li>Item 2</li> <li>Item 3</li> </ul> </body> </html>
以上 3 种初始化方式均可，当然最常用的初始化方式还是以字符串形式传递。
基本 CSS 选择器
pyquery 的 CSS 选择器的用法：
html = ''' <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> ''' from pyquery import PyQuery as pq doc = pq(html) print(doc('#container .list li')) print(type(doc('#container .list li')))
运行结果：
<li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> <class 'pyquery.pyquery.PyQuery'>
初始化 PyQuery 对象之后，传入了一个 CSS 选择器 #container .list li，意思是先选取 id 为 container 的节点，然后选取其内部的 class 为 list 的节点内部的所有 li 节点。打印输出。可以看到成功获取到了符合条件的节点。最后将类型打印输出。类型依然是 PyQuery 类型。
遍历获取的节点，调用text方法，直接获取文本内容：
for item in doc('#container .list li').items(): print(item.text())
结果：
first item
second item
third item
fourth item
fifth item
不用写正则表达式，直接通过选择器和text方法，就得到了想要提取的文本信息
查找节点
一些常用的查询方法和 jQuery 中的方法用法完全相同。
子节点
查找子节点需要用到 find 方法，传入的参数是 CSS 选择器，以上面的 HTML 为例：
from pyquery import PyQuery as pq doc = pq(html) items = doc('.list') print(type(items)) print(items) lis = items.find('li') print(type(lis)) print(lis)
运行结果：
<class 'pyquery.pyquery.PyQuery'> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> <class 'pyquery.pyquery.PyQuery'> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li>
首先选取 class 为 list 的节点，调用了 find() 方法，传入 CSS 选择器，选取其内部的 li 节点打印输出。find() 方法会将符合条件的所有节点选择出来，结果的类型是 PyQuery 类型。
其实 find 的查找范围是节点的所有子孙节点，如果只想查找子节点，可以用 children 方法：
lis = items.children() print(type(lis)) print(lis)
运行结果：
<class 'pyquery.pyquery.PyQuery'> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li>
要筛选所有子节点中符合条件的节点，比如筛选出子节点中 class 为 active 的节点，可以向 children() 方法传入 CSS 选择器.active：
lis = items.children('.active') print(type(lis)) print(lis)
运行结果：
lis = items.children('.active') print(type(lis)) print(lis)
输出的结果已经做了筛选，留下了 class 为 active 的节点。
父节点
用 parent 方法来获取某个节点的父节点：
html = ''' <div class="wrap"> <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </div> ''' from pyquery import PyQuery as pq doc = pq(html) items = doc('.list') container = items.parent() print(type(container)) print(container)
运行结果：
<class 'pyquery.pyquery.PyQuery'> <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div>
用.list 选取 class 为 list 的节点，然后调用 parent 方法得到其父节点，其类型依然是 PyQuery 类型。
父节点是该节点的直接父节点，不会再去查找父节点的父节点，即祖先节点。
如果想获取某个祖先节点，可以用 parents 方法：
from pyquery import PyQuery as pq doc = pq(html) items = doc('.list') parents = items.parents() print(type(parents)) print(parents)
运行结果：
<class 'pyquery.pyquery.PyQuery'> <div class="wrap"> <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </div><div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div>
输出结果： class 为 wrap 的节点， id 为 container 的节点。parents() 方法会返回所有的祖先节点。
若想要筛选某个祖先节点的话，可以向 parents 方法传入 CSS 选择器，这样就会返回祖先节点中符合 CSS 选择器的节点：
parent = items.parents('.wrap') print(parent)
运行结果：
<div class="wrap"> <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </div>
输出结果少了一个节点，只保留了 class 为 wrap 的节点。
兄弟节点
要获取兄弟节点，可以使用 siblings() 方法。
from pyquery import PyQuery as pq doc = pq(html) items = doc('.list .item-0.active') siblings = items.siblings() print(siblings)
首先选择 class 为 list 的节点内部 class 为 item-0 和 active 的节点，也就是第三个 li 节点。它的兄弟节点有 4 个，那就是第一、二、四、五个 li 节点。
运行结果：
<li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0">first item</li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li>
要筛选某个兄弟节点，依然可以向 siblings 方法传入 CSS 选择器，从所有兄弟节点中挑选出符合条件的节点：
from pyquery import PyQuery as pq doc = pq(html) li = doc('.list .item-0.active') print(li.siblings('.active'))
筛选了class 为 active 的节点，通过刚才的结果可以观察到，class 为 active 的兄弟节点只有第四个 li 节点，所以结果只包含一个节点。
运行结果：
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
遍历
pyquery 库的选择结果可能是多个节点，也可能是单个节点，类型都是 PyQuery 类型，并没有返回像 Beautiful Soup 那样的列表。
对于单个节点，可以直接打印输出，也可以直接转成字符串：
from pyquery import PyQuery as pq doc = pq(html) li = doc('.item-0.active') print(li) print(str(li)) print(li.text())
运行结果：
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> third item
对于多个节点的结果，需要遍历来获取了。例如，这里把每一个 li 节点进行遍历，需要调用 items 方法：
from pyquery import PyQuery as pq doc = pq(html) lis = doc('li').items() print(type(lis)) for li in lis: print(li,type(li),li.text())
运行结果：
<class 'generator'> <li class="item-0">first item</li> <class 'pyquery.pyquery.PyQuery'> first item <li class="item-1"><a href="link2.html">second item</a></li> <class 'pyquery.pyquery.PyQuery'> second item <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <class 'pyquery.pyquery.PyQuery'> third item <li class="item-1 active"><a href="link4.html">fourth item</a></li> <class 'pyquery.pyquery.PyQuery'> fourth item <li class="item-0"><a href="link5.html">fifth item</a></li> <class 'pyquery.pyquery.PyQuery'> fifth item
调用 items() 方法后，会得到一个生成器，遍历一下，就可以逐个得到 li 节点对象了，它的类型也是 PyQuery 类型。每个 li 节点还可以调用前面所说的方法进行选择，比如继续查询子节点，寻找某个祖先节点等。
获取信息
提取到节点后，我们的最终目的当然是提取节点所包含的信息了。比较重要的信息有两类，一是获取属性，二是获取文本。
获取属性
提取到某个 PyQuery 类型的节点后，就可以调用 attr() 方法来获取属性：
html = ''' <div class="wrap"> <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </div> ''' from pyquery import PyQuery as pq doc = pq(html) a = doc('.item-0.active a') print(a, type(a)) print(a.attr('href'))
运行结果：
<a href="link3.html"><span class="bold">third item</span></a> <class 'pyquery.pyquery.PyQuery'> link3.html
首先选中 class 为 item-0 和 active 的 li 节点内的 a 节点，它的类型是 PyQuery 类型。然后调用 attr 方法。在这个方法中传入属性的名称，就可以得到这个属性值了。
此外，也可以通过调用 attr 属性来获取属性，用法如下：
print(a.attr.href)
结果：
link3.html
两种方法的结果完全一样。
如果选中的是多个元素，然后调用 attr 方法，会出现怎样的结果？
from pyquery import PyQuery as pq doc = pq(html) a = doc('a') print(a, type(a)) print(a.attr('href')) print(a.attr.href)
运行结果：
<a href="link2.html">second item</a><a href="link3.html"><span class="bold">third item</span></a><a href="link4.html">fourth item</a><a href="link5.html">fifth item</a> <class 'pyquery.pyquery.PyQuery'> link2.html link2.html
选中的 a 节点应该有 4 个，打印结果也应该是 4 个，但是当调用 attr 方法时，返回结果只有第一个。这是因为，当返回结果包含多个节点时，调用 attr 方法，只会得到第一个节点的属性。如果想获取所有的 a 节点的属性，就要用到前面所说的遍历：
from pyquery import PyQuery as pq doc = pq(html) a = doc('a') for item in a.items(): print(item.attr('href'))
运行结果：
link2.html
link3.html
link4.html
link5.html
在进行属性获取时，可以观察返回节点是一个还是多个，如果是多个，则需要遍历才能依次获取每个节点的属性。
获取文本
获取节点之后的另一个主要操作就是获取其内部的文本，可以调用 text 方法来实现：
html = ''' <div class="wrap"> <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </div> ''' from pyquery import PyQuery as pq doc = pq(html) a = doc('.item-0.active a') print(a) print(a.text())
运行结果：
<a href="link3.html"><span class="bold">third item</span></a> third item
先选中一个 a 节点，然后调用 text 方法，就可以获取其内部的文本信息。此时它会忽略掉节点内部包含的所有 HTML，只返回纯文字内容。
但如果想要获取这个节点内部的 HTML 文本，就要用 html 方法了：
from pyquery import PyQuery as pq doc = pq(html) li = doc('.item-0.active') print(li) print(li.html())
这里选中了第三个 li 节点，然后调用了 html() 方法，它返回的结果应该是 li 节点内的所有 HTML 文本。
运行结果：
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <a href="link3.html"><span class="bold">third item</span></a>
如果选中的结果是多个节点，text() 或 html() 会返回什么内容？
from pyquery import PyQuery as pq doc = pq(html) li = doc('li') print(li.html()) print(li.text()) print(type(li.text()))
运行结果：
<a href="link2.html">second item</a> second item third item fourth item fifth item <class 'str'>
html 方法返回的是第一个 li 节点的内部 HTML 文本，而 text 则返回了所有的 li 节点内部的纯文本，中间用一个空格分割开，即返回结果是一个字符串。
如果得到的结果是多个节点，并且想要获取每个节点的内部 HTML 文本，则需要遍历每个节点。而 text() 方法不需要遍历就可以获取，它将所有节点取文本之后合并成一个字符串。
节点操作
pyquery 库提供了一系列方法来对节点进行动态修改，例如为某个节点添加一个 class，移除某个节点等，这些操作有时候会为提取信息带来极大的便利。
节点操作的方法太多，举几个典型的例子来说明它的用法。
addClass 和 removeClass
先用一个实例来感受一下：
html = ''' <div class="wrap"> <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </div> ''' from pyquery import PyQuery as pq doc = pq(html) li = doc('.item-0.active') print(li) li.removeClass('active') print(li) li.addClass('active') print(li)
选中了第三个 li 节点，然后调用 removeClass() 方法，将 li 节点的 active 这个 class 移除，后来又调用 addClass() 方法，将 class 添加回来。每执行一次操作，就打印输出当前 li 节点的内容。
运行结果如下：
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
一共输出了 3 次。第二次输出时，li 节点的 active 这个 class 被移除了，第三次 class 又添加回来了。
·addClass 和 removeClass 方法可以动态改变节点的 class 属性。
attr、text、html
除了操作 class 这个属性外，也可以用 attr 方法对属性进行操作。还可以用 text 和 html 方法来改变节点内部的内容。示例如下：
html = ''' <ul class="list"> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> </ul> ''' from pyquery import PyQuery as pq doc = pq(html) li = doc('.item-0.active') print(li) li.attr('name', 'link') print(li) li.text('changed item') print(li) li.html('<span>changed item</span>') print(li)
选中 li 节点，然后调用 attr 方法来修改属性，其中该方法的第一个参数为属性名，第二个参数为属性值。接调用 text 和 html 方法来改变节点内部的内容。三次操作后，分别打印输出当前的 li 节点。
运行结果如下：
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-0 active" name="link">changed item</li> <li class="item-0 active" name="link"><span>changed item</span></li>
如果 attr 方法只传入第一个参数的属性名，则是获取这个属性值；如果传入第二个参数，可以用来修改属性值。text 和 html 方法如果不传参数，则是获取节点内纯文本和 HTML 文本；如果传入参数，则进行赋值。
remove
remove 方法就是移除，有时会为信息的提取带来非常大的便利。下面有一段 HTML 文本：
html = ''' <div class="wrap"> Hello, World <p>This is a paragraph.</p> </div> ''' from pyquery import PyQuery as pq doc = pq(html) wrap = doc('.wrap') print(wrap.text())
现在想提取 Hello, World 这个字符串，而不要 p 节点内部的字符串，需要怎样操作？
先尝试直接提取 class 为 wrap 的节点的内容：
Hello, World This is a paragraph.
结果还包含了内部的 p 节点的内容，也就是说 text 把所有的纯文本全提取出来了。如果我们想去掉 p 节点内部的文本，可以选择再把 p 节点内的文本提取一遍，然后从整个结果中移除这个子串，但这个做法明显比较烦琐。
这时 remove 方法就可以派上用场了，可以这么做:
from pyquery import PyQuery as pq doc = pq(html) wrap = doc('.wrap') wrap.find('p').remove() print(wrap.text())
首先选中 p 节点，然后调用了 remove() 方法将其移除，然后这时 wrap 内部就只剩下 Hello, World 这句话了，然后再利用 text() 方法提取即可。
还有很多节点操作的方法，比如 append()、empty() 和 prepend() 等方法，它们和 jQuery 的用法完全一致，详细的用法可以参考官方文档：http://pyquery.readthedocs.io/en/latest/api.html
伪类选择器
CSS 选择器之所以强大，还有一个很重要的原因，它支持多种多样的伪类选择器，例如选择第一个节点、最后一个节点、奇偶数节点、包含某一文本的节点等。实例如下：
html = ''' <div class="wrap"> <div id="container"> <ul class="list"> <li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </div> ''' from pyquery import PyQuery as pq doc = pq(html) li = doc('li:first-child') print(li) li = doc('li:last-child') print(li) li = doc('li:nth-child(2)') print(li) li = doc('li:gt(2)') print(li) li = doc('li:nth-child(2n)') print(li) li = doc('li:contains(second)') print(li)
使用 CSS3 的伪类选择器，依次选择了第一个 li 节点、最后一个 li 节点、第二个 li 节点、第三个 li 之后的 li 节点、偶数位置的 li 节点、包含 second 文本的 li 节点。
关于 CSS 选择器的更多用法，可以参考 http://www.w3school.com.cn/css/index.asp。
到此为止，pyquery 的常用用法就介绍完了。如果想查看更多的内容，可以参考 pyquery 的官方文档：http://pyquery.readthedocs.io。
<li class="item-0">first item</li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> <li class="item-1 active"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li>