python应用之爬虫实战2 请求库与解析库

知识内容：

1.requests库

2.selenium库

3.BeautifulSoup4库

4.re正则解析库

5.lxml库

参考：

http://www.cnblogs.com/wupeiqi/articles/5354900.html

http://www.cnblogs.com/linhaifeng/articles/7785043.html

一、requests库

1.安装及简单使用

(1)安装

 pip3 install requests

(2)简单使用

 import requests

 r = requests.get("http://www.baidu.com")        # 发起get请求

 print(r.status_code)      # 打印状态码

 r.encoding = "utf-8"      # 指定编码

 print(r.text)             # 输出文本内容

2.基于GET请求

requests.get(url, params=None, **kwargs)

(1)基本请求

 import requests

 url = "https://www.autohome.com.cn/news/"

 response = requests.get(url)

 response.encoding = response.apparent_encoding    # 指定编码

 print(response.text)

(2)带参数的GET请求

加headers

 # 在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容

 import requests

 headers = {

     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',

 }

 response = requests.get('https://www.baidu.com/s?wd=python&pn=1', headers=headers)

 print(response.text)

对url进行编码

 # 在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容

 import requests

 headers = {

     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',

 }

 # 如果查询关键词是中文或者有其他特殊符号，则必须进行url编码

 from urllib.parse import urlencode

 wd = '六六六'

 encode_res = urlencode({'k': wd}, encoding='utf-8')

 keyword = encode_res.split('=')[1]

 print(keyword)

 url = 'https://www.baidu.com/s?wd=%s&pn=1' % keyword

 response = requests.get(url, headers=headers)

 res = response.text

 print(res)

params参数

Requests模块允许使用params关键字传递参数，以一个字典来传递参数，例子如下：

import requests

data = {

    "name":"zhaofan",

    "age":22

}

response = requests.get("http://httpbin.org/get",params=data)

print(response.url)

print(response.text)

GET请求中headers常用元素如下：

 #通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下

 Host

 Referer #大型网站通常都会根据该参数判断请求的来源

 User-Agent #客户端

 Cookie #Cookie信息虽然包含在请求头里，但requests模块有单独的参数处理他，headers内就不要放它了

(3)cookies

 # 登录github，然后从浏览器中获取cookies，以后就可以直接拿着cookie登录了，无需输入用户名密码

 import requests

 Cookies = {

     'user_session': 'ac0TP4aV3yyjfejv9dJOv1Erb_IJiSHTd_ac3s4N_sEZ71gK'

 }

 # github对请求头没有什么限制，我们无需定制user-agent，对于其他网站可能还需要定制

 response = requests.get('https://github.com/settings/emails', cookies=Cookies)

 print('1572834916@qq.com' in response.text) # True

3.基于POST请求

(1)requests模块的post方法和get方法的区别

requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

import requests

data = {

    "name":"wyb",

    "age": 21,

}

response = requests.post("http://httpbin.org/post", data=data)

print(response.text)

(2)发送post请求，模拟浏览器的登录行为

实例模拟登录github

 '''

 一 目标站点分析

     浏览器输入https://github.com/login

     然后输入错误的账号密码，抓包

     发现: 登录行为是post并提交到：https://github.com/session且请求头包含cookie

     而且请求体包含：

         commit:Sign in

         utf8:✓

         authenticity_token: taqxIh0Qs8Qm54Ov2WoR+RHq6O/1a8L/F960j/arN6xDEC9QArBTp6D4VFROYwLveIk+o5Ca5aBhWMEmhNmEnA==

         login: 1572834916@qq.com

         password:123

 二 流程分析

     先GET：https://github.com/login拿到初始cookie与authenticity_token

     返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）

     最后拿到登录cookie

     ps：如果密码是密文形式，则可以先输错账号，输对密码，然后到浏览器中拿到加密后的密码

     但是github的密码是明文，故不需使用上述的步骤

 '''

 import requests

 import re

 # 第一次请求

 r1 = requests.get('https://github.com/login')

 r1_cookie = r1.cookies.get_dict()  # 拿到初始cookie(未被授权)

 authenticity_token = re.findall(r'name="authenticity_token".*?value="(.*?)"', r1.text)[0]  # 从页面中拿到CSRF TOKEN

 # 第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码

 data = {

     'commit': 'Sign in',

     'utf8': '✓',

     'authenticity_token': authenticity_token,

     'login': '1572834916@qq.com',

     'password': 'xxx'

 }

 r2 = requests.post('https://github.com/session',

                    data=data,

                    cookies=r1_cookie

                    )

 login_cookie = r2.cookies.get_dict()

 # 第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置

 r3 = requests.get('https://github.com/settings/emails',

                   cookies=login_cookie)

 print('1572834916@qq.com' in r3.text)  # True

当然上面也可以用requests.session()来自动保存cookie信息，示例如下:

 import requests

 import re

 session = requests.session()

 # 第一次请求

 r1 = session.get('https://github.com/login')

 authenticity_token = re.findall(r'name="authenticity_token".*?value="(.*?)"', r1.text)[0]  # 从页面中拿到CSRF TOKEN

 # 第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码

 data = {

     'commit': 'Sign in',

     'utf8': '✓',

     'authenticity_token': authenticity_token,

     'login': '1572834916@qq.com',

     'password': 'xxx'

 }

 r2 = session.post('https://github.com/session', data=data)

 # 第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置

 r3 = session.get('https://github.com/settings/emails')

 print('1572834916@qq.com' in r3.text)  # True

4.响应Response

(1)response属性

 import requests

 response = requests.get('http://www.zhihu.com')

 # response属性

 print(response.text)                    # 以文本形式打印网页源码

 print(response.content)                 # 以字节流形式打印

 print(response.status_code)             # 打印状态码

 print(response.headers)                 # 打印头信息　　

 print(response.cookies)                 # 打印cookies信息

 print(response.cookies.get_dict())      # 将cookies信息以字典方式打印

 print(response.cookies.items())         # 打印cookies的键

 print(response.url)                     # 输出响应的链接

 print(response.encoding)                # 输出响应的编码(从header中猜测的响应内容编码格式)

(2)编码问题

 # 编码问题

 import requests

 response = requests.get('http://www.autohome.com/news')

 # 将编码设置为网站的编码(不设置可能无法显示中文)

 response.encoding = response.apparent_encoding

 print(response.text)

(3)获取二进制数据

 import requests

 response = requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1509868306530&di=712e4ef3ab258b36e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg')

 # 以字节流的形式写入文件

 with open('girl.jpg', 'wb') as f:

     f.write(response.content)

 #stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的

 import requests

 response=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4',

                       stream=True)

 with open('b.mp4','wb') as f:

     for line in response.iter_content():

         f.write(line)

(4)解析json

 #解析json

 import requests

 import json

 response=requests.get('http://httpbin.org/get')

 res1=json.loads(response.text)          # 太麻烦

 res2=response.json()                    # 直接获取json数据

 print(res1 == res2)                     # True

5.所有方法及所有参数

(1)requests模块中所有方法

 requests.get(url, params=None, **kwargs)

 requests.post(url, data=None, json=None, **kwargs)

 requests.put(url, data=None, **kwargs)

 requests.head(url, **kwargs)

 requests.delete(url, **kwargs)

 requests.patch(url, data=None, **kwargs)

 requests.options(url, **kwargs)

 # 以上方法均是在此方法的基础上构建

 requests.request(method, url, **kwargs)

(2)requests模块中的参数

重要的参数:

- method: 提交方式

- url: 提交地址

- params: 在URL中传递的参数,GET中独有
　　requests.request(
　　　　method='GET',
　　　　url= 'http://www.oldboyedu.com',
　　　　params = {'k1':'v1','k2':'v2'}
　　)
　　请求的链接：http://www.oldboyedu.com?k1=v1&k2=v2

- data: 在请求体里传递的数据
　　requests.request(
　　　　method='POST',
　　　　url= 'http://www.oldboyedu.com',
　　　　params = {'k1':'v1','k2':'v2'},
　　　　data = {'use':'wyb','pwd': '123'}(也可以写成"user=wyb&pwd=123")
　　)

　　请求头: content-type: application/url-form-encod.....
　　请求体: "use=wyb&pwd=123"

- json 在请求体里传递的数据
　　requests.request(
　　　　method='POST',
　　　　url= 'http://www.oldboyedu.com',
　　　　params = {'k1':'v1','k2':'v2'},
　　　　json = {'use':'wyb','pwd': '123'}
　　)
　　请求头: content-type: application/json
　　请求体: "{'use':'wyb','pwd': '123'}"
　　注: 当字典中嵌套字典时使用json

- headers 请求头
　　requests.request(
　　　　method='POST',
　　　　url= 'http://www.oldboyedu.com',
　　　　params = {'k1':'v1','k2':'v2'},
　　　　json = {'use':'alex','pwd': '123'},
　　　　headers={
　　　　　　'Referer': 'http://dig.chouti.com/',
　　　　　　'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36"
　　　　}
　　)

- cookies Cookies

其他参数：

files 上传文件
auth 基本认知(headers中加入加密的用户名和密码)
timeout 请求和响应的超时时间
allow_redirects 是否允许重定向
proxies 代理
verify 是否忽略证书
cert 证书文件
stream 村长下大片
session: 用于保存客户端历史访问信息

6.requests高级用法

(1)文件上传

 import requests

 files= {"files":open("git.jpg","rb")}

 response = requests.post("http://httpbin.org/post",files=files)

 print(response.text)

(2)获取cookie

 import requests

 response = requests.get("http://www.baidu.com")

 print(response.cookies)

 for key,value in response.cookies.items():

     print(key+"="+value)

cookie的一个作用就是可以用于模拟登陆，做会话维持

 import requests

 s = requests.Session()

 s.get("http://httpbin.org/cookies/set/number/123456")

 response = s.get("http://httpbin.org/cookies")

 print(response.text)

两次requests请求之间是独立的，通过创建一个session对象，两次请求都通过这个对象访问

(3)证书验证

现在的很多网站都是https的方式访问，所以这个时候就涉及到证书的问题

 import requests

 response = requests.get("https:/www.12306.cn")

 print(response.status_code)

默认的12306网站的证书是不合法的，这样就会提示错误，为了避免这种情况的发生可以通过verify=False
但是这样是可以访问到页面，但是会提示：
InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning)

解决方法为：

 import requests

 from requests.packages import urllib3

 urllib3.disable_warnings()

 response = requests.get("https://www.12306.cn",verify=False)

 print(response.status_code)

这样就不会提示警告信息，当然也可以通过cert参数放入证书路径

(4)代理设置

 import requests

 proxies= {

     "http":"http://127.0.0.1:9999",

     "https":"http://127.0.0.1:8888"

 }

 response  = requests.get("https://www.baidu.com",proxies=proxies)

 print(response.text)

如果代理需要设置账户名和密码,只需要将字典更改为如下：
proxies = {
　　"http":"http://user:password@127.0.0.1:9999"
}
如果你的代理是通过sokces这种方式则需要pip install "requests[socks]"
proxies= {
　　"http":"socks5://127.0.0.1:9999",
　　"https":"sockes5://127.0.0.1:8888"
}

(5)超时设置 -> 通过timeout参数可以设置超时的时间

(6)认证设置 -> 如果碰到需要认证的网站可以通过requests.auth模块实现

import requests

from requests.auth import HTTPBasicAuth

response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123"))

print(response.status_code)

当然这里还有一种方式

import requests

response = requests.get("http://120.27.34.24:9001/",auth=("user","123"))

print(response.status_code)

7.requests使用实例

 # __author__ = "wyb"

 # date: 2018/5/21

 import requests

 url = "https://item.jd.com/5036602.html"

 headers = {

 "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Mobile Safari/537.36"

 }

 try:

     res = requests.get(url, headers=headers)

     res.raise_for_status()

     res.encoding = res.apparent_encoding

     print(res.status_code)

     print(res.text)

 except:

     print("爬取失败")

爬取京东商品页面

 # __author__ = "wyb"

 # date: 2018/5/21

 import requests

 url = "http://www.baidu.com/s"

 kv = {"wd": "python"}   # 搜索关键词

 try:

     res = requests.get(url, params=kv)

     print(res.url)

     print(res.status_code)

     res.raise_for_status()

     print(res.text)

 except:

     print("爬取失败")

百度关键词搜索

 # __author__ = "wyb"

 # date: 2018/5/21

 import requests

 url = "http://m.ip138.com/ip.asp?ip="

 try:

     ip = "202.204.80.112"

     res = requests.get(url+ip)

     res.raise_for_status()

     res.encoding = res.apparent_encoding

     print(res.text[-500:])

 except:

     print("爬取失败")

IP地址归属地查询

 # __author__ = "wyb"

 # date: 2018/5/26

 import os

 import requests

 from bs4 import BeautifulSoup

 import re

 import time

 headers = {

     "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Mobile Safari/537.36"

 }

 # url = "https://www.zhihu.com/question/22918070"         # url为知乎链接

 url = input("请输入知乎的链接>>>").strip()

 links = []

 try:

     html = requests.get(url, headers=headers)

     soup = BeautifulSoup(html.text, 'html.parser')

     # 用Beautiful Soup结合正则表达式来提取包含所有图片链接（img标签中，class=**，以.jpg格式结尾的链接）的语句

     links = soup.find_all('img', src=re.compile(r'.jpg$'))

     # print(links)

 except Exception as e:

     print("请输入正确的链接或查看网络是否连接!")

     exit()

 try:

     # 设置保存图片的路径，否则会保存到程序当前路径

     path = r'./images'  # 路径前的r是保持字符串原始值的意思，就是说不对其中的符号进行转义

     for link in links:

         print(link.attrs['src'])

         src = link.attrs['src']

         if not os.path.exists('imgs'):

             os.mkdir('imgs')

         img = requests.get(src, headers=headers)

         import uuid

         with open("imgs/%s.jpg" % uuid.uuid4(), "wb") as f:

             f.write(img.content)

 except Exception as e:

     print()

 else:

     print("图片下载成功请到该程序目录下的imgs文件夹下查看")

 print("牛不牛逼啊?")

 time.sleep(5)

爬取知乎图片

爬取图片原理：

python应用之爬虫实战2 请求库与解析库

二、selenium库

1.selenium介绍与其作用

selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

 from selenium import webdriver

 browser=webdriver.Chrome()

 browser=webdriver.Firefox()

 browser=webdriver.PhantomJS()

 browser=webdriver.Safari()

 browser=webdriver.Edge()

注：个人推荐使用PhantomJS这个浏览器，直接百度下载安装，安装完了后配置一下path即可

2.selenium基本使用

 from selenium import webdriver

 from selenium.webdriver import ActionChains

 from selenium.webdriver.common.by import By # 按照什么方式查找，By.ID,By.CSS_SELECTOR

 from selenium.webdriver.common.keys import Keys # 键盘按键操作

 from selenium.webdriver.support import expected_conditions as EC

 from selenium.webdriver.support.wait import WebDriverWait # 等待页面加载某些元素

 browser=webdriver.Chrome()

 try:

     browser.get('https://www.baidu.com')

     input_tag=browser.find_element_by_id('kw')

     input_tag.send_keys('美女')

     input_tag.send_keys(Keys.ENTER) #输入回车

     wait=WebDriverWait(browser,10)

     # 等到id为content_left的元素加载完毕,最多等10秒

     wait.until(EC.presence_of_element_located((By.ID,'content_left'))) 

     print(browser.page_source)

     print(browser.current_url)

     print(browser.get_cookies())

 finally:

     browser.close()

三、BeautifulSoup4库

1.介绍

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4, 移植到BS4

文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

2.安装

 #安装 Beautiful Soup

 pip install bs4

 #安装解析器

 pip install lxml

 pip install html5lib

BeautifulSoup中可以使用的解释器如下：

解析器	使用方法	优势	劣势
Python标准库	`BeautifulSoup(markup, "html.parser")`	Python的内置标准库执行速度适中文档容错能力强	Python 2.7.3 or 3.2.2前的版本中文档容错能力差
lxml HTML 解析器	`BeautifulSoup(markup, "lxml")`	速度快文档容错能力强	需要安装C语言库
lxml XML 解析器	`BeautifulSoup(markup, ["lxml", "xml"])` `BeautifulSoup(markup, "xml")`	速度快唯一支持XML的解析器	需要安装C语言库
html5lib	`BeautifulSoup(markup, "html5lib")`	最好的容错性以浏览器的方式解析文档生成HTML5格式的文档	速度慢不依赖外部扩展

推荐使用lxml作为解析器,因为效率更高

3.基本使用

(1)生成BeautifulSoup对象

 from bs4 import BeautifulSoup

 html = """

 <html><head><title>The Dormouse's story</title></head>

 <body>

 <p class="title" name="dromouse"><b>The Dormouse's story</b></p>

 <p class="story">Once upon a time there were three little sisters; and their names were

 <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,

 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

 and they lived at the bottom of a well.</p>

 <p class="story">...</p>

 """

 soup = BeautifulSoup(html, 'html.parser')     # 创建BeautifulSoup对象

 print(soup.prettify())              　　　　　　# 打印soup对象(格式化输出)

(2)BeautifulSoup对象中的常用方法

find_all方法：fin_all(tag, attributes, recursive, text, limit, keywords)
find方法：find(tag, attributes, recursive, text, keywords)
find()方法类似find_all()方法,只不过find_all()方法返回的是文档中符合条件的tag是一个集合，而find()方法返回的只是一个tag
select()方法: # select方法中的选择器类似CS，将在后面详细介绍
get_text()方法 -> 获取对象中的文本内容

find和find_all中的参数：

tag：标签名
attributes：一个标签的若干属性和其对应的值
recursive：布尔变量，设置为True表示会递归查找，否则不会递归查找，find_all方法默认支持递归查找，一般情况下这个参数不需要设置
text：用标签的文本内容匹配
limit：只用于find_all方法，find其实等价于find_all参数limit等于1时的情况
keyword：选择那些具有指定属性的标签

(3)BeautifulSoup对象中的属性

标签选择器：soup.标签名 -> 获得这个标签(多个这样的标签，返回的结果是第一个标签)
获取名称：soup.标签.name -> 获得该标签的名称
获取属性：soup.p.attrs['name']或soup.p['name'] -> 可以获取p标签的name属性值
获取内容：soup.p.string -> 可以获取第一个p标签的内容
嵌套选择：soup.head.title.string -> 获取head标签中的title标签中的内容

 # __author__ = "wyb"

 # date: 2018/5/21

 from bs4 import BeautifulSoup

 html = """

 <html><head><title>The Dormouse's story</title></head>

 <body>

 <p class="title" name="dromouse"><b>The Dormouse's story</b></p>

 <p class="story">Once upon a time there were three little sisters; and their names were

 <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,

 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

 and they lived at the bottom of a well.</p>

 <p class="story">...</p>

 """

 soup = BeautifulSoup(html, "html.parser")    # 创建BeautifulSoup对象

 print(soup.title)           # 输出title标签

 print(soup.title.name)      # 输出title标签的name

 print(soup.p)               # 输出第一个p标签

 print(soup.p.string)        # 输出第一个p标签的内容

 print(soup.p['class'])      # 输出第一个p标签的class值

 print(soup.p.b)             # 嵌套查询

(4)BeautifulSoup中节点

子节点：contents和children

子孙节点：descendants

父节点：parent

祖先节点：list(enumerate(soup.a.parents))

兄弟节点：

soup.a.next_siblings 获取后面的兄弟节点
soup.a.previous_siblings 获取前面的兄弟节点
soup.a.next_sibling 获取下一个兄弟标签
souo.a.previous_sinbling 获取上一个兄弟标签

 # __author__ = "wyb"

 # date: 2018/5/21

 from bs4 import BeautifulSoup

 html = """

 <html>

     <head><title>The Dormouse's story</title></head>

     <body>

         <p class="story">

             Once upon a time there were three little sisters; and their names were

             <a href="http://example.com/elsie" class="sister" id="link1">

                 <span>Elsie</span>

             </a>

             <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a>

             and

             <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>

             and they lived at the bottom of a well.

         </p>

         <p class="story">...</p>

 """

 soup = BeautifulSoup(html, 'lxml')

 # 获取子节点

 print(soup.p.contents)              # 将p标签下的所有子标签存入到了一个列表中

 print(soup.p.children)              # 迭代对象，而不是列表，只能通过循环的方式获取信息

 # 获取子孙节点

 print(soup.descendants)             # 迭代对象，而不是列表，只能通过循环的方式获取信息

 # 获取父节点

 print(soup.p.parent)

 print(soup.p.next_siblings)         # 获取后面的兄弟节点

 print(soup.p.previous_siblings)     # 获取前面的兄弟节点

 print(soup.p.next_sibling)          # 获取下一个兄弟标签

 print(soup.p.previous_sinbling)     # 获取上一个兄弟标签

4.select方法中的选择器、获取内容和获取属性

通过select()直接传入CSS选择器就可以完成选择，select方法中的选择器类似CSS，使用方法如下：

.表示class #表示id
标签1，标签2 找到所有的标签1和标签2
标签1 标签2 找到标签1内部的所有的标签2
[attr] 可以通过这种方法找到具有某个属性的所有标签
[atrr=value] 例子[target=_blank]表示查找所有target=_blank的标签
获取内容：通过get_text()就可以获取文本内容
获取属性：获取属性可以通过[属性名]或者attrs[属性名]

 # __author__ = "wyb"

 # date: 2018/5/21

 html = """

 <html><head><title>The Dormouse's story</title></head>

 <body>

 <p class="title">

     <b>The Dormouse's story</b>

     Once upon a time there were three little sisters; and their names were

     <a href="http://example.com/elsie" class="sister" id="link1">

         <span>Elsie</span>

     </a>

     <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

     <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

     <div class='panel-1'>

         <ul class='list' id='list-1'>

             <li class='element'>Foo</li>

             <li class='element'>Bar</li>

             <li class='element'>Jay</li>

         </ul>

         <ul class='list list-small' id='list-2'>

             <li class='element'><h1 class='yyyy'>Foo</h1></li>

             <li class='element xxx'>Bar</li>

             <li class='element'>Jay</li>

         </ul>

     </div>

     and they lived at the bottom of a well.

 </p>

 <p class="story">...</p>

 """

 from bs4 import BeautifulSoup

 soup = BeautifulSoup(html, 'lxml')

 # 1、CSS选择器

 print(soup.p.select('.sister'))

 print(soup.select('.sister span'))

 print(soup.select('#link1'))

 print(soup.select('#link1 span'))

 print(soup.select('#list-2 .element.xxx'))

 # 2、获取属性

 print(soup.select('#list-2 h1')[0].attrs)

 # 3、获取内容

 print(soup.select('#list-2 h1')[0].get_text())

5.BeautifulSoup使用实例

(1)BeautifulSoup简单使用

 from bs4 import BeautifulSoup

 html = """

 <html><head><title>The Dormouse's story</title></head>

 <body>

 <p class="title">

     <b>The Dormouse's story</b>

     Once upon a time there were three little sisters; and their names were

     <a href="http://example.com/elsie" class="sister" id="link1">

         <span>Elsie</span>

     </a>

     <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

     <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

     <div class='panel-1'>

         <ul class='list' id='list-1'>

             <li class='element'>Foo</li>

             <li class='element'>Bar</li>

             <li class='element'>Jay</li>

         </ul>

         <ul class='list list-small' id='list-2'>

             <li class='element'><h1 class='yyyy'>Foo</h1></li>

             <li class='element xxx'>Bar</li>

             <li class='element'>Jay</li>

         </ul>

     </div>

     and they lived at the bottom of a well.

 </p>

 <p class="story">...</p>

 """

 soup = BeautifulSoup(html, "lxml")

 for link in soup.find_all('a'):

     print(link.get("href"))

找出所有a标签中的链接

(2)综合使用

爬取中国大学排名：https://www.cnblogs.com/wyb666/p/9068832.html

四、re正则解析库

知识内容：复习正则表达式及re模块的使用，关于re模块详细用法：http://www.cnblogs.com/wyb666/p/8728582.html

1.正则语法

2.re模块中常用方法

3.使用正则表达式对象

4.常用正则匹配实例