BeautifulSoup4的使用

时间:2024-03-01 21:05:48

一、介绍

Beautiful Soup 主要是用来解析提取 HTML 和 XML 文件中的数据。

现在官网推荐使用 Beautiful Soup 4 ,已经被移植到了BS4中。

安装 Beautiful Soup:pip instal beautifulsoup4

使用格式:

实例化 Beautifulsoup 传入被 解析的 HTML 文档内容和解析器,得到一个对象。

from bs4 import Beautifulsoup

soup = Beautifulsoup(html_doc, 'html.parser')

# 参数:
	-html_doc:被解析的html文档内容
    -html.parser:解析器

解析器:

解析器 使用方法 优势 劣势
Python标准库 BeautifulSoup(markup, "html.parser") Python的内置标准库执行速度适中文档容错能力强 Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器 BeautifulSoup(markup, "lxml") 速度快文档容错能力强 需要安装C语言库
lxml XML 解析器 BeautifulSoup(markup, ["lxml", "xml"])``BeautifulSoup(markup, "xml") 速度快唯一支持XML的解析器 需要安装C语言库
html5lib BeautifulSoup(markup, "html5lib") 最好的容错性以浏览器的方式解析文档生成HTML5格式的文档 速度慢不依赖外部扩展

二、遍历文档树

遍历文档树就是直接通过标签名字选择,特点是选择速度快,但如果存在多个相同的标签则只能返回第一个。

用法:

from bs4 import Beautifulsoup

soup = Beautifulsoup(html_doc, 'html.parser')
对象 = soup.body.a		# 查找最开始第一个body标签下的第一个a标签


对象.name			  # 获取标签的名字
对象.attrs		  # 获取标签的所有属性
对象.get(属性名)		# 获取标签指定属性
对象.text			  # 获取标签的文本内容(子子孙孙都拼接在一起的)
对象.get_text()	  # 和上面一样
对象.string		  # 当前标签下有文本才取出来,否则全是None
对象.strings		  # 子子孙孙的内容都放大生成器中

三、搜索文档树

搜索文档树是通过主要的两个方法 find()find_all() 去文档中查找指定标签。

五种过滤器

1、字符串:

from bs4 import Beautifulsoup
soup = Beautifulsoup(html_doc, 'html.parser')

soup.find_all('a')	# 查找所有的a标签

2、正则表达式

import re

soup.find_all(re.compile('^b'))		# 查找出所有以b开头的标签

3、列表

soup.find_all(['a', 'b'])	# 找到所有的a标签和b标签

4、True/False

soup.find_all(name=True)		# 匹配有name属性的标签

5、方法

如果没有合适的过滤器,就可以定义一个方法只接收一个元素参数,返回 True 表示匹配到并找到,否则 False

# 查找有类属性,没有id属性的标签
def fun(tag):
    return tag.has_attr('class') and not tag.has_attr('id')

soup.find_all(fun)

CSS选择器

使用方法和CSS选择器一样,用css选择器的格式去找标签

格式:

soup.select('css选择器')	# 返回列表

'''
#id
.class
#id a ——>匹配对应id下的所有a标签(子子孙孙)
#id>a ——>匹配对应id下的直接子节点,子标签
'''