一篇文章带你搞定Python中urllib库(操作URL)

时间:2021-07-10 19:45:15

一篇文章带你搞定Python中urllib库(操作URL)

Hey,大家好呀,我是Go进阶者。

一、操作URL

urllib提供了一系列用于操作URL的功能。分类讲解相关内容。

二、Get()

urllib的request模块可以非常方便地抓取URL内容,也就是发送一个GET请求到指定的页面,然后返回HTTP的响应:

例如,对豆瓣的URLhttps://api.growingio.com/v2/22c937bbd8ebd703f2d8e9445f7dfd03/web/pv?stm=1593747087078进行抓取,并返回响应:

一篇文章带你搞定Python中urllib库(操作URL)

  1. from urllib import request
  2. with request.urlopen('https://api.growingio.com/v2/22c937bbd8ebd703f2d8e9445f7dfd03/web/pv?stm=1593747087078') as f:
  3. data = f.read()
  4. print('Status:', f.status, f.reason)
  5. for k, v in f.getheaders():
  6. print('%s: %s' % (k, v))
  7. print('Data:', data.decode('utf-8'))

可以看到HTTP响应的头和JSON数据:

一篇文章带你搞定Python中urllib库(操作URL)

如果要想模拟浏览器发送GET请求,就需要使用Request对象,通过往Request对象添加HTTP头,就可以把请求伪装成浏览器。例如,模拟iPhone 6去请求豆瓣首页:

  1. from urllib import request
  2. req = request.Request('http://www.douban.com/')
  3. req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
  4. with request.urlopen(req) as f:
  5. print('Status:', f.status, f.reason)
  6. for k, v in f.getheaders():
  7. print('%s: %s' % (k, v))
  8. print('Data:', f.read().decode('utf-8'))

这样豆瓣会返回适合iPhone的移动版网页:

一篇文章带你搞定Python中urllib库(操作URL)

三、Post()

一篇文章带你搞定Python中urllib库(操作URL)

如果要以POST发送一个请求,只需要把参数data以bytes形式传入。

模拟一个微博登录,先读取登录的邮箱和口令,然后按照weibo.cn的登录页的格式以username=xxx&password=xxx的编码传入:

一篇文章带你搞定Python中urllib库(操作URL)

  1. from urllib import request, parse
  2. print('Login to weibo.cn...')
  3. #电子邮件
  4. email = input('Email: ')
  5. #密码
  6. passwd = input('Password: ')
  7. #相关的参数
  8. login_data = parse.urlencode([
  9. ('username', email),
  10. ('password', passwd),
  11. ('entry', 'mweibo'),
  12. ('client_id', ''),
  13. ('savestate', '1'),
  14. ('ec', ''),
  15. ('pagerefer', 'https://passport.weibo.cn/signin/welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F')
  16. ])
  17. #网址请求
  18. req = request.Request('https://passport.weibo.cn/sso/login')
  19. req.add_header('Origin', 'https://passport.weibo.cn')
  20. #构造User-Agent
  21. req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
  22. req.add_header('Referer', 'https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F')
  23. with request.urlopen(req, data=login_data.encode('utf-8')) as f:
  24. print('Status:', f.status, f.reason)
  25. for k, v in f.getheaders():
  26. print('%s: %s' % (k, v))
  27. print('Data:', f.read().decode('utf-8'))

如果登录成功,获得的响应如下:

一篇文章带你搞定Python中urllib库(操作URL)

如果登录失败,获得的响应如下:

一篇文章带你搞定Python中urllib库(操作URL)

四、Handler

如果还需要更复杂的控制,比如通过一个Proxy去访问网站,需要利用ProxyHandler来处理,示例代码如下:

  1. import urllib.request
  2. # 构建了两个代理Handler,一个有代理IP,一个没有代理IP
  3. httpproxy_handler = urllib.request.ProxyHandler({"https": "27.191.234.69:9999"})
  4. nullproxy_handler = urllib.request.ProxyHandler({})
  5. # 定义一个代理开关
  6. proxySwitch = True
  7. # 通过 urllib.request.build_opener()方法使用这些代理Handler对象,创建自定义opener对象
  8. # 根据代理开关是否打开,使用不同的代理模式
  9. if proxySwitch:
  10. opener = urllib.request.build_opener(httpproxy_handler)
  11. else:
  12. opener = urllib.request.build_opener(nullproxy_handler)
  13. request = urllib.request.Request("http://www.baidu.com/")
  14. # 1. 如果这么写,只有使用opener.open()方法发送请求才使用自定义的代理,而urlopen()则不使用自定义代理。
  15. response = opener.open(request)
  16. # 2. 如果这么写,就是将opener应用到全局,之后所有的,不管是opener.open()还是urlopen() 发送请求,都将使用自定义代理。
  17. # urllib.request.install_opener(opener)
  18. # response = urllib.request.urlopen(request)
  19. # 获取服务器响应内容
  20. html = response.read().decode("utf-8")
  21. # 打印结果
  22. print(html)

如果代理成功返回网址的信息。

一篇文章带你搞定Python中urllib库(操作URL)

如果网址出错或者代理地址有误,返回下面界面。

一篇文章带你搞定Python中urllib库(操作URL)

五、总结

使用Python语言,能够帮助大家更好的学习Python。urllib提供的功能就是利用程序去执行各种HTTP请求。如果要模拟浏览器完成特定功能,需要把请求伪装成浏览器。伪装的方法是先监控浏j览器发出的请求,再根据浏览器的请求头来伪装,User-Agent头就是用来标识浏览器的。

原文链接:https://mp.weixin.qq.com/s/ozp3eC3Vtf6-Oz2Xo2NVfA