网站：http://www.sci99.com/targetprice/
网站通过点击日历来切换内容，使用Ajax，刷新的数据包只有数据那一块区域。
通过post请求获取日期对应的内容，刚开始只构造selecttime，结果获得的日期还是默认的
所以还要构造中间几个参数：__VIEWSTATE、__VIEWSTATEGENERATOR、__EVENTVALIDATION。
__VIEWSTATE这些参数是啥呢，复制了一段话：由于http是无记忆无状态的协议。页面传值给服务器，都是通过form表单，且控件自己必须有name属性与value才可以得到值。但是像显示动态信息很多情况下并不都是使用满足上述条件的控件，所以需要将http伪装为有记忆的。而viewstate就是可以事先这个伪装术的策略。
虽然不是很明白，反正就是要先得到这几个参数就对了。
先使用getHiddenvalue()获取三个参数，再放到formData里即可
def getHiddenvalue(): request = urllib.request.Request(URL, headers=header) reponse = urllib.request.urlopen(request) resu = reponse.read() page = resu.decode(‘utf-8‘) vs = re.search(r‘<input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value="(.*?)" />‘, page) vsg = re.search( r‘<input type="hidden" name="__VIEWSTATEGENERATOR" id="__VIEWSTATEGENERATOR" value="(.*?)" />‘, page) ev = re.search( r‘<input type="hidden" name="__EVENTVALIDATION" id="__EVENTVALIDATION" value="(.*?)" />‘, page) html = etree.HTML(page) return vs.group(1), vsg.group(1), ev.group(1)
获取网页函数：
def getPage(date): vs, vsg, ev = getHiddenvalue() data = { "ScriptManager1": "UpdatePanel1|btn_search", "selecttime": date, "__VIEWSTATE": vs, "__VIEWSTATEGENERATOR": vsg, "__EVENTVALIDATION": ev, "__ASYNCPOST": "true", "btn_search": "" } formData = urlencode(data) page = requests.post(URL, data=formData, headers=header) page.encoding = "UTF-8"
return page.text