Spider理论系列-request模块的入门使用

时间:2023-02-23 12:04:38

一、requests模块的入门使用

学习目标:
  1. 了解 requests模块的介绍
  2. 掌握 requests的基本使用
  3. 掌握 response常见的属性
  4. 掌握 requests.text和content的区别
  5. 掌握 解决网页的解码问题
  6. 掌握 requests模块发送带headers的请求
  7. 掌握 requests模块发送带参数的get请求

1、为什么要重点学习requests模块,而不是urllib

  • 企业中用的最多的就是requests
  • requests的底层实现就是urllib
  • requests在python2 和python3中通用,方法完全一样
  • requests简单易用

2、requests的作用与安装

作用:发送网络请求,返回响应数据

命令: pip install requests

3、requests模块发送简单的get请求、获取响应

需求:通过requests向百度首页发送请求,获取百度首页的数据

import requests

# 目标url
url = 'https://www.baidu.com'

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
print(response.text)

response的常用属性:

  • ​response.text​​ 响应体 str类型
  • ​response.encoding​​ 从HTTP header中猜测的响应内容的编码方式
  • ​respones.content​​ 响应体 bytes类型
  • ​response.status_code​​ 响应状态码
  • ​response.request.headers​​ 响应对应的请求头
  • ​response.headers​​ 响应头
  • ​response.cookies​​ 响应的cookie(经过了set-cookie动作)
  • ​response.url​​ 获取访问的url
  • ​response.json()​​ 获取json数据 得到内容为字典 (如果接口响应体的格式是json格式时)
  • ​response.ok​​​
    如果status_code小于等于200,response.ok返回True。
    如果status_code大于200,response.ok返回False。

博主一般抓页面源码的时候使用的就是response.content.decode(),其中decode()的编码格式一般为utf-8,遇到utf-8解决不了的,就换gbk,在下文也有对这两种方式的细节解释

思考:text是response的属性还是方法呢?

  • 一般来说名词,往往都是对象的属性,对应的动词是对象的方法
3.1 response.text 和response.content的区别
  • ​response.text​
  • 类型:str
  • 解码类型: requests模块自动根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码
  • 如何修改编码方式:response.encoding="gbk/UTF-8"
  • ​response.content​
  • 类型:bytes
  • 解码类型: 没有指定
  • 如何修改编码方式:response.content.deocde("utf8")

获取网页源码的通用方式:

  1. ​response.content.decode()​
  2. ​response.content.decode("UTF-8")​
  3. ​response.text​

以上三种方法从前往后尝试,能够100%的解决所有网页解码的问题

所以:更推荐使用​​response.content.deocde()​​的方式获取响应的html页面

3.2 练习:把网络上的图片保存到本地

我们来把​​www.baidu.com​​的图片保存到本地

思考:

  • 以什么方式打开文件
  • 保存什么格式的内容

分析:

import requests

# 图片的url
url = 'https://www.baidu.com/img/bd_logo1.png'

# 响应本身就是一个图片,并且是二进制类型
response = requests.get(url)

# print(response.content)

# 以二进制+写入的方式打开文件
with open('baidu.png', 'wb') as f:
# 写入response.content bytes二进制类型
f.write(response.content)

4、发送带header的请求

我们先写一个获取百度首页的代码

import requests

url = 'https://www.baidu.com'

response = requests.get(url)

print(response.content)

# 打印响应对应请求的请求头信息
print(response.request.headers)
4.1 思考

对比浏览器上百度首页的网页源码和代码中的百度首页的源码,有什么不同?

代码中的百度首页的源码非常少,为什么?

4.2 为什么请求需要带上header?

模拟浏览器,欺骗服务器,获取和浏览器一致的内容

4.3 header的形式:字典
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
4.4 用法
requests.get(url, headers=headers)
4.5 完整的代码
import requests

url = 'https://www.baidu.com'

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 在请求头中带上User-Agent,模拟浏览器发送请求
response = requests.get(url, headers=headers)

# print(response.content)

# 打印请求头信息
print(response.request.headers)

5、发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ​​?​​,那么该问号后边的就是请求参数,又叫做查询字符串

5.1 什么叫做请求参数:

例1: ​​http://www.webkaka.com/tutorial/server/2015/021013/​

例2:​​https://www.baidu.com/s?wd=python&a=c​

例1中没有请求参数!例2中?后边的就是请求参数

5.2 请求参数的形式:字典
kw = {'wd':'长城'}
5.3 请求参数的用法
requests.get(url,params=kw)
5.4 关于参数的注意点

在url地址中, 很多参数是没有用的,比如百度搜索的url地址,其中参数只有一个字段有用,其他的都可以删除 如何确定那些请求参数有用或者没用:挨个尝试! 对应的,在后续的爬虫中,越到很多参数的url地址,都可以尝试删除参数

5.5 两种方式:发送带参数的请求
  • https://www.baidu.com/s?wd=python发起请求可以使用requests.get(url, params=kw)的方式
# 方式一:利用params参数发送带参数的请求
import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'

# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'

# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}

# 带上请求参数发起请求,获取响应
response = requests.get(url, headers=headers, params=kw)

# 当有多个请求参数时,requests接收的params参数为多个键值对的字典,比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}

print(response.content)
  • 也可以直接对https://www.baidu.com/s?wd=python完整的url直接发送请求,不使用params参数
# 方式二:直接发送带参数的url的请求
import requests

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

url = 'https://www.baidu.com/s?wd=python'

# kw = {'wd': 'python'}

# url中包含了请求参数,所以此时无需params
response = requests.get(url, headers=headers)

6、小结

  1. requests模块的介绍:能够帮助我们发起请求获取响应
  2. requests的基本使用:requests.get(url)
  3. 以及response常见的属性:
  • ​response.text​​ 响应体 str类型
  • ​respones.content​​ 响应体 bytes类型
  • ​response.status_code​​ 响应状态码
  • ​response.request.headers​​ 响应对应的请求头
  • ​response.headers​​ 响应头
  • ​response.request._cookies​​ 响应对应请求的cookie
  • ​response.cookies​​ 响应的cookie(经过了set-cookie动作)
  1. 掌握 requests.text和content的区别:text返回str类型,content返回bytes类型
  2. 掌握 解决网页的解码问题:
  • ​response.content.decode()​
  • ​response.content.decode("UTF-8")​
  • ​response.text​
  1. 掌握 requests模块发送带headers的请求:requests.get(url, headers={})
  2. 掌握 requests模块发送带参数的get请求:​​requests.get(url, params={})​

request的基本使用就这些,小伙伴如果哪里有忘记了,记得回来看看