Python发送form-data请求及拼接form-data内容的方法

时间:2022-10-12 10:56:07

 网上关于使用python 的发送multipart/form-data的方法,多半是采用

ulrlib2 的模拟post方法,如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import urllib2
 
boundary='-------------------------7df3069603d6'
data=[]
data.append('--%s' % boundary)
data.append('Content-Disposition: form-data; name="app_id"\r\n')
data.append('xxxxxx')
data.append('--%s' % boundary)
data.append('Content-Disposition: form-data; name="version"\r\n')
data.append('xxxxx')
data.append('--%s' % boundary)
data.append('Content-Disposition: form-data; name="platform"\r\n')
data.append('xxxxx')
data.append('--%s' % boundary)
data.append('Content-Disposition: form-data; name="libzip"; filename="C:\Users\danwang3\Desktop\libmsc.zip"')
data.append('Content-Type: application/octet-stream\r\n')
 
fr=open('C:\Users\danwang3\Desktop\libmsc.zip')
content=fr.read()
data.append(content)
print content
fr.close()
data.append('--%s--\r\n'%boundary)
httpBody='\r\n'.join(data)
 
print type(httpBody)
print httpBody
 
postDataUrl='http://xxxxxxxx'
req=urllib2.Request(postDataUrl,data=httpBody)

经过测试,使用上述方法发送一段二进制文件的时候,服务器报错,数据有问题!

问题就出在    '\r\n'.join(data)的编码,data内部拥有二进制数据,通过这种编码,可能是把数据转换为utf-8格式,当然有问题。

搜索了很多资料,查到可以使用requests库提交multipart/form-data 格式的数据

一个multipart/form-data 的表单数据,在http里面抓包如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#Content-Disposition: form-data;name="app_id"
 
 
 123456
 
#-----------------------------7df23df2a0870
 
#Content-Disposition: form-data;name="version"
 
 
 
 2256
 
 -----------------------------7df23df2a0870
 
 Content-Disposition:form-data; name="platform"
 
 
 
 ios
 
 -----------------------------7df23df2a0870
 
 Content-Disposition: form-data;name="libzip";filename="C:\Users\danwang3\Desktop\libmsc.zip"
 
 Content-Type: application/x-zip-compressed

 

 <二进制文件数据未显示>

?
1
---------------------------7df23df2a0870—


上述数据在requests里面可以模拟为:

?
1
2
3
4
5
files={'app_id':(None,'123456'),
  'version':(None,'2256'),
  'platform':(None,'ios'),
  'libzip':('libmsc.zip',open('C:\Users\danwang3\Desktop\libmsc.zip','rb'),'application/x-zip-compressed')
 }

发送上述post请求,也就是简单的

?
1
response=requests.post(url,files=files)

就这么简单

在官方网站上,requests模拟一个表单数据的格式如下:

files = {'name': (<filename>, <file object>,<content type>, <per-part headers>)}

这一行模拟出来的post数据为:

?
1
2
3
4
5
Content-Disposition: form-data; name='name';filename=<filename>
Content-Type: <content type>
 
<file object>
--boundary

如果filename 和 content-Type不写,那么响应模拟post的数据就不会有二者。

通常使用requests 不像使用urllib2那样可以自动管理cookie,不过如果获取到cookie

可以在requests请求里面一并将cookie发送出去

requests使用的cookie格式如下:

?
1
2
3
4
newCookie={}
newCookie['key1']='value1'
newCookie['key2]='value2'
newCookie['key3']='value3'


发送cookie可以使用:

?
1
response=requests.post(url,cookies=newCookie)

这样就可以了

拼接form-data的post内容

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
#!\urs\bin\env python
#encoding:utf-8    #设置编码方式 
  
from http2 import http
import urllib
 
def ReadFileAsContent(filename):
  #print filename
  try:
    with open(filename, 'rb') as f:
      filecontent = f.read()
  except Exception, e:
    print 'The Error Message in ReadFileAsContent(): ' + e.message 
    return ''
  return filecontent
 
 
def get_content_type(filename):
  import mimetypes
  return mimetypes.guess_type(filename)[0] or 'application/octet-stream'
 
def isfiledata(p_str): 
  import re
   
  r_c = re.compile("^f'(.*)'$")
  rert = r_c.search(str(p_str))
  #rert = re.search("^f'(.*)'$", p_str)
  if rert:
    return rert.group(1)
  else:
    return None
   
def encode_multipart_formdata(fields):
  '''''
      该函数用于拼接multipart/form-data类型的http请求中body部分的内容
      返回拼接好的body内容及Content-Type的头定义
  '''
  import random
  import os
  BOUNDARY = '----------%s' % ''.join(random.sample('0123456789abcdef', 15))
  CRLF = '\r\n'
  L = []
  for (key, value) in fields:
    filepath = isfiledata(value)
    if filepath:
      L.append('--' + BOUNDARY)
      L.append('Content-Disposition: form-data; name="%s"; filename="%s"' % (key, os.path.basename(filepath)))
      L.append('Content-Type: %s' % get_content_type(filepath))
      L.append('')
      L.append(ReadFileAsContent(filepath)) 
    else:
      L.append('--' + BOUNDARY)
      L.append('Content-Disposition: form-data; name="%s"' % key)
      L.append('')
      L.append(value) 
  L.append('--' + BOUNDARY + '--')
  L.append('')
  body = CRLF.join(L)
  content_type = 'multipart/form-data; boundary=%s' % BOUNDARY
  return content_type, body

其中需要注意的是文件数据的字典值,其格式为f'/path/to/file',具体调用的形式如下:

?
1
2
3
form_data = [('gShopID','489'),("addItems", r"f'D:\case3guomei.xml'"), ('validateString', '92c99a2a36f47c6aa2f0019caa0591d2')]
form_data_re = encode_multipart_formdata(form_data)
print form_data_re

返回的内容是一个元组,第一个参数是请求头中Content-Type的值,第二个是具体post的内容。然后使用httplib的post方法就可以发送了。