【Python】 html解析BeautifulSoup

时间:2022-03-14 14:57:47

BeautifulSoup

  bs是个html解析模块,常用来做爬虫?

  ■  安装

  BeautifulSoup可以通过pip来安装,用pip install beautifulsoup4 即可。但是仅仅这样安装的bs,其默认的html解析器是python自带的HTMLParser模块,性能不是很好。可以考虑安装性能更加好的lxml和html5lib模块:pip install html5lib

  

  ■  基本用法

  BeautifulSoup有官方文档,可以查阅

  ① 建立BeautifulSoup对象,它是基于一个html字符串或者一个文件

from bs4 import BeautifulSoup
soup = BeautifulSoup("...一串html")
#或者
soup = BeautifulSoup(open("文件路径","r")) print soup.prettify() #可以美化这段html并打印出来

  ②  四类对象

   bs将一个html抽象成一个树形结构,每个节点都是一个python里的对象。共分成了四种对象。

   ●  Tag类对象

    即html中的标签,BeautifulSoup对象(以上面代码中的soup为例)可以直接在后面接上某种标签的名称,得到的对象是该种标签在这段html中的第一个实例。

    比如对于print soup.h1 >>> <h1 class="...">...</h1>  (bs里的html对象是可打印的,打印出来就是html原文)

    每个Tag类对象都有两个属性,name和attrs。

    name就是标签的名字,而attrs是个字典,里面记录了所有这个tag的属性值。比如有tag是<h1 class="space-seo space-meta" name="testname">HELLO</h1>

    其name就是u'h1',而attrs是{u'class':[u'space-seo',u'space-meta'],u'name':u'testname'}  //注意区别tag对象的name属性和写在attrs里面的name属性的区别,另外所有被存到变量里的html内容全部都变成了unicode对象。在print的时候可以指定encode,默认encode是utf-8。还有,所有class属性都默认都被解析成一个列表,即便只有一个class值,也会成为[u'class_value']

    当然,在定位到Tag对象之后可以获取查看其属性值,另一方面,也可以对其属性值等进行修改,修改完了之后就是存在内存中的这个变量里面的,最终可以输出成文件的形式。

   ●  String对象  //selenium用的是text来指代标签内部的文本内容,而bs用的是string。而且对于<div>这种本身不带文本带后辈节点可能带文本的标签两者意义不同。selenium中的.text会带出来所有后辈节点中的文本,而bs中的这个.string返回的是None

    String对象用于代表每个元素所含的文字部分,在标签后面加上.string即可调用

    print soup.h1.string >>> HELLO

    注意,某个Tag对象的子节点以及子节点里面的内容都不算进string,当一个元素(比如<div>这种)里面只有子节点,本身没有文字的话,得到的就是None。

    ●  BeautifulSoup对象

    指代整个文档的对象。可以视为是<html>的对象。其实之前创建的BeautifulSoup对象soup,就是指代整个html文档

    ●  comment对象

    用于代表某个元素内的注释

■  遍历文件树

    除了上面提到的一些基本属性,Tag对象(包括BeautifulSoup对象)都含有以下属性:

    Tag.contents  将某个Tag的各个子节点(不包括孙和孙以下节点)按照列表的方式输出

    Tag.children  返回一个上述列表的迭代器,也只有子节点(没有孙和孙以下节点)

    Tag.descendants  返回一个迭代器,内容是所有后辈节点

    Tag.strings  返回Tag中所有的文字部分的生成器,保留换行,制表符等空格。相当于是prettify之后去掉所有html标签的文本状态。

    Tag.stripped_strings  和上一项相比,再去掉所有空白字符,只保留有实际字符的文本部分。这两个方法常用于对被分析网页文本的搜索和处理。

    Tag.parent  父节点

    Tag.parents  长辈节点的迭代器

    Tag.next_sibling  下一个同辈节点(如果没有同辈就返回None,下同)

    Tag.previous_sibling  上一个同辈节点

    Tag.next_sibilings  之后所有同辈节点的迭代器

    Tag.previous_sibilings  之前所有同辈节点的迭代器

    //关于同辈节点有一个坑。。在看起来比较美观的HTML文档中,总是有很多换行符合制表符的。而在BS中如果要调用一个同辈节点,那么这些空白的文本节点也都会被算进去。比如:

#<p><span>one</span><span id="main">two</span></p>
print soup.find(name="span",attrs={"id":"main"}).previous_sibling
#得到的是<span>one</span> #如果处理的是这样一段HTML:
#<p>
# <span>one</span>
# <span id="main">two</span>
#</p>
print repr(soup.find(name="span",attrs={"id":"main"}).previous_sibling)
#得到的是"\n\t"因为在第一个span之前有一段空白文本被当做一个节点了。

    然而在通过这个span.parent寻找p或者是通过p.children寻找span的时候,这些空白文本节点都不会被算进去。所以只有在引用同辈节点的时候要注意。

    

    Tag.next_element  下一个元素,包括string对象,子节点,同辈分节点在内,无视辈分的下一个

    Tag.previous_element  上一个元素,说明同上

    Tag.next_elements  next_element的迭代器

    Tag.previous_elements  previous_element的迭代器

    

  ■  检索文件树方法

    ●  Tag.find_all(name,attr,recursive,text,**kwargs) 方法。功能是检索Tag内所有后辈节点,并判断是否符合某种条件,最后返回一个列表

      1.  name参数

      name参数可以直接写Tag.name。比如find_all("p"),find_all("div")等

      也可以写正则表达式(re.compile之后的对象)。比如find_all(re.compile("^b"))

      也可以写列表,比如find_all(['a','p'])

      甚至可以写一个函数对象,这时就要自己定义这个函数了。这个函数要接收一个Tag对象来作为参数,并最终返回True或者False来告诉find_all这个对象该不该被find进去

      2.  attr参数

      attr参数可以指定一个字典的形式来过滤,比如find_all(attrs={'id':'testid'})就是找到所有id是testid的元素

      3.  text参数

      用于搜索字串内容。也可以支持name参数中那几种写的形式。注意,返回的不是对象的列表,而是文本的列表。当name和text的参数同时出现的话,text会作为name的一个附加条件,返回的还是带标签的列表。

      4.  recursive参数

      默认是True,可改成False放弃递归进子辈以下子节点。只检索第一级的子节点。

      5.  limit参数

      有时候文档太大了,检索所有元素很费时间,limit可以指定一个数值,当检索找到了这个数量的目标之后就停止检索

   

     ●  Tag.find方法:参数和find_all一致,只不过其返回的不是一个列表,而是找到第一个就返回了。

     ●  Tag.find_parents    Tag.find_parent

      Tag.find_next_sibilings    Tag.find_next_sibiling

      Tag.find_previous_sibilings    Tag.find_previous_sibiling

      Tag.find_all_next    Tag.find_next

      Tag.find_all_previous  Tag.find_previous

      以上所有方法,每行前一个和后一个的关系就是find_all和find的关系。而每一行相当于是为检索指定了一个大致的范围。比如说find_all和find是在所有后辈节点中检索的话,那么find_parents和find_parent就是在所有长辈节点中寻找,find_next_sibilings和find_next_sibiling就是在所有后面的同辈节点中寻找等等

    

     ●  Tag.select("selector")  可以借助select方法来确定一个或多个特定的元素,默认查找全部符合的元素并返回一个列表。selector的语法就是jQuery里面selector的语法。这个方法还是比较实用的。与之相对的有select_one方法,只返回第一个查找到的元素。

总的来说,不管是通过一个节点,遍历文件树的方法来找到想要获得的节点对象,还是通过检索方法来定位一个节点对象,都是寻找对象的一种方法。很难说哪种最好哪种不好,应该要灵活运用。