基于BeautifulSoup库的HTML内容的查找

时间:2021-06-25 02:48:32

一、BeautifulSoup库提供了一个检索的参数:

<>.find_all(name,attrs,recursive,string,**kwargs),它返回一个列表类型,存储查找的结果。它的一些对应的简写形式是:

  <tag>(...) <=> <tag>.find_all(...)

  soup.(...) <=> soup.find_all(...)

•name:按照标签名称进行检索,可以同时对多个标签名称同时检索

•attr:按照标签的属性值进行检索,可以标注为属性检索

•recursive:是否对子孙全部检索,默认为True

•string:对标签中字符串区域进行检索,<>...string...</>

 import requests
from bs4 import BeautifulSoup
import re r = requests.get('http://python123.io/ws/demo.html')
r.raise_for_status()
r.encoding = r.apparent_encoding
demo = r.text
soup = BeautifulSoup(demo,"html.parser") print(soup.find_all('a'))#按照name进行检索
print(soup.find_all(['a','b']))#同时对多个name标签进行检索
for tag in soup.find_all(re.compile('b')):#对以b开头的所有标签进行检索
print(tag.name)
print(tag) print("")
print(soup.find_all('p','course'))#按照标签里面的属性值进行检索
print(soup.find_all(id='link1'))#按照指定的属性的属性值进行检索,严格匹配
print(soup.find_all(id = re.compile('link')))#特定属性值的不严格匹配 print("")
print(soup.find_all('a',recursive = False))#不对所有子孙检索,只检索儿子节点,起点是html标签,如果返回的是空列表[],就代表a标签是在儿子标签之后的标签里面 print(soup.find_all(string = 'Basic Python'))#检索字符串,严格匹配
print(soup.find_all(string = re.compile('Python')))#不严格匹配

二、<>find_all(..)的扩展方法

方法 说明
<>.find() 搜索,只返回一个结果,字符串类型,同.find_all()参数
<>.find_parent() 在先辈中搜索,只返回一个结果,返回字符串类型,同.find()参数
<>.find_parents() 在先辈中搜索,返回列表类型,同.find_all()参数
<>.find_next_sibling() 在后续平行节点中搜索,只返回一个结果,返回字符串类型,同.find()参数
<>.find_next_siblings() 在后续平行节点中搜索,返回一个列表类型,同.find_all()参数
<>.find_previous_sibling() 在前续平行节点中搜索,只返回一个结果,返回字符串类型,同参.find()数
<>.find_previous_siblings() 在前续平行节点中搜索,返回一个列表类型,同.find_all()参数