python 爬虫1 Urllib库的基本使用

1.简单使用

import urllib2

response = urllib2.urlopen("http://www.baidu.com")
print response.read()

2.运行结果是完全一样的，只不过中间多了一个request对象，推荐大家这么写，因为在构建请求时还需要加入好多内容，通过构建一个request，服务器响应请求得到应答，这样显得逻辑上清晰明确。

import urllib2

request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()

3.POST方式

import urllib
import urllib2

values = {"username":"[e-mail]","password":"XXXX"}
data = urllib.urlencode(values)
url = "https://passport.****.net/account/login?from=http://my.****.net/my/my****"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()

4.GET方式

import urllib
import urllib2

values={}
values['username'] = "[e-mail]"
values['password']="XXXX"
data = urllib.urlencode(values)
url = "http://passport.****.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()