Python爬虫基础之Urllib

时间:2021-12-11 06:44:23

一、随时随地爬取一个网页下来

  怎么爬取网页?对网站开发了解的都知道,浏览器访问Url向服务器发送请求,服务器响应浏览器请求并返回一堆HTML信息,其中包括html标签,css样式,js脚本等。Chrome F2可以看到网页源码。

css用于网页背景,控件位置,文本粗细等样式布局,js(javascript)相对于静态的css是一种动态的概念,可以跟用户交互,例如单击后弹窗,文本提示,日期控件等,html主要用于信息的展示,文字

图片,链接等,这是我们要爬取的内容。现在我们使用Python的Urllib库写个脚本开始爬取网页。

 

二、Python Urllib库的基本使用

1)urllib.request.urlopen()方法

1 import urllib.request
2
3
4 response = urllib.request.urlopen('http://www.baidu.com/')
5 print(response.read())
response = urllib.request.urlopen('http://www.baidu.com/')
urlopen方法传递了一串字符串"http://www.baidu.com/",这个参数代表请求的目标链接地址,结果返回一个urllib.response对象。
 
 

2)Urllib.request.Request()对象

1 import urllib.request
2
3
4 request = urllib.request.Request('http://www.baidu.com/')
5
6 response = urllib.request.urlopen(request)
7
8 print(response.read())
request = urllib.request.Request('http://www.baidu.com/')
response = urllib.request.urlopen(request)

   urlopen()方法不仅支持传递url字符串,还支持一个urllib.request.Request对象。对于Python urllib.request模块的urlopen()方法,官方有这样一句话Open the URL url, which can be either a string or a Request object.
   意思是说urlopen可以接受字符串格式的url或者一个Request对象(具体请移步官方文档,urllib.request
   这里声明了一个Request对象,并作为参数传递给urlopen方法。

 

3)GET和POST请求方式

 POST请求方式

 1 import urllib.request
2 import urllib.response
3 import urllib.parse
4
5 params = {"t": "b", "w": "Python urllib"}
6 params = urllib.parse.urlencode(params) # urlencode会将dict格式参数拼接并编码 w=Python+urllib&t=b
7 data = params.encode('ascii') # 字符串转换为字节(bytes)b'w=Python+urllib&t=b
8 request = urllib.request.Request('http://zzk.cnblogs.com/s', data=data)
9 response = urllib.request.urlopen(request)
10 print(response.read())

 

GET请求方式

 1 import urllib.request
2 import urllib.response
3 import urllib.parse
4
5
6 params = {"t": "b", "w": "Python urllib"}
7 params = urllib.parse.urlencode(params) # urlencode会将dict格式参数拼接并编码 w=Python+urllib&t=b
8 url = "http://zzk.cnblogs.com/s?%s" % params # 参数urlencode编码并拼接到请求url后面
9 request = urllib.request.Request(url)
10 response = urllib.request.urlopen(request)
11 print(response.read())

 

4)响应内容编码

import urllib.request

response
= urllib.request.urlopen('http://www.baidu.com/')
print(response.read().decode('utf-8'))

response.read()返回byte字节格式数据,无法直接读懂,需要进行编码,通常使用UTF-8进行编码。通过字符串的decode('utf-8')方法进行解码,上面的代码调整为response.read().decode('utf-8'),这样我们就能像在浏览器上

一样看懂返回的信息。

三、Python Urllib库的高级使用

1)请求头Headers

 1 import urllib.request
2 import urllib.response
3 import urllib.parse
4
5
6 params = {"t": "b", "w": "Python urllib"}
7 params = urllib.parse.urlencode(params) # urlencode会将dict格式参数拼接并编码 w=Python+urllib&t=b
8 data = params.encode('ascii') # 字符串转换为字节(bytes)b'w=Python+urllib&t=b
9 headers = {
10 "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}
11 request = urllib.request.Request('http://zzk.cnblogs.com/s', data=data, headers=headers)
12 response = urllib.request.urlopen(request)
13 print(response.read().decode('utf-8'))
request = urllib.request.Request('http://zzk.cnblogs.com/s', data=data, headers=headers)

    Headers是字典类型,比较常见的请求头是User-Agent,可以认为是浏览器的一个身份认证,一些HTTP服务器只会接受来自浏览器的请求,例如“Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110                 Safari/537.36,如果不为指定User-Agent,请求会默认带上Python Urllib的User Agent  “Python-urllib/2.6” ,有可能请求会被服务器拒绝。

    可以通过传递字典类型的请求头Headers,还可以通过request对象的方法add_header(key,val)设置请求头,

request.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')

    还有Request.full_url、Request.get_full_url()、Request.get_header()、Request.has_header()等实用的属性和方法 (详细请查看官方Request Object)

 

2)代理设置Proxy和HTTP Authentication

 1 import urllib.request
2 import urllib.response
3 import urllib.parse
4
5 proxy_handler = urllib.request.ProxyHandler({'http': 'http://www.example.com:3128/'})
6 proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()
7 proxy_auth_handler.add_password(realm='realm', uri='http://wwww.example.com:3128/', user='username', passwd='password')
8
9 opener = urllib.request.build_opener(proxy_handler, proxy_auth_handler)
10 urllib.request.build_opener(opener)
11 response = urllib.request.urlopen('http://www.baidu.com') # 向代理服务器www.example.com:3128发送请求,代理服务器接收请求并转发请求给www.baidu.com服务器
12 print(response.read().decode('utf-8'))

 HTTP代理本质上是一个Web应用,它和其他普通Web应用没有根本区别。HTTP代理收到请求后,根据Header中Host字段的主机名和Get/POST请求地址综合判断目标主机,建立新的HTTP请求并转发请求数据,并将收到的响应数据转发给客户端。如果请求地址

是绝对地址,HTTP代理采用该地址中的Host,否则使用Header中的HOST字段。

 

3)超时设置Timeout

方法一、设置单个请求超时时间:

1 import urllib.request
2
3 timeout = 2 # set timeout 2 seconds
4 response = urllib.request.urlopen('http://www.baidu.com/', timeout=timeout)
5 print(response.read().decode('utf-8'))

 

方法二、设置全局请求超时时间:

 1 import urllib.request
2 import urllib.parse
3 import urllib.error
4 import socket
5
6 socket.setdefaulttimeout(60) # 设置全局超时时间
7
8 params = {"t": "b", "w": "Python urllib"}
9 params = urllib.parse.urlencode(params) # urlencode会将dict格式参数拼接并编码 w=Python+urllib&t=b
10 url = "http://zzk.cnblogs.com/s?%s" % params # 参数urlencode编码并拼接到请求url后面
11 request = urllib.request.Request(url)
12 response = urllib.request.urlopen(request)
13 print(response.read().decode('utf-8'))

 

四、Python Urllib库的实际应用

1)请求失败重试

 1 # 请求失败,默认重试2次
2 def download(url, user_agent='wswp', num_retries=2):
3 if url is None:
4 return None
5 print('Downloading:', url)
6 headers = {
7 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
8 request = urllib.request.Request(url, headers=headers)
9 try:
10 html = urllib.request.urlopen(request).read().decode('utf-8')
11 except urllib.error.URLError as e:
12 print('Downloading Error:', e.reason)
13 html = None
14 if num_retries > 0:
15 if hasattr(e, 'code') and 500 <= e.code < 600:
16 # retry when return code is 5xx HTTP erros
17 return download(url, num_retries - 1)
18 return html