Python 网页投票信息抓取

时间:2022-08-18 08:19:39

最近学习python,为了巩固一下学过的知识,花了半天(主要还是因为自己正则表达式不熟)写了个小脚本来抓取一个网站上的投票信息,排名后进行输出。

抓取的网站网址是http://www.mudidi.net/topic-yinghuhuodong.html。我先在网站首页点了个查看源码,发现并没有下面的投票部分信息,颇为不解,咨询了一个PHP大牛同学,原来那部分是一个嵌套页面,有另外一个地址http://www.mudidi.net//toupiao/vote3.asp?id=2,真是才疏学浅,自惭形愧啊。

找到真实地址后,就可以提取页面信息了:

 # 获取页面数据
def getUrlRespHtml():
url = 'http://www.mudidi.net//toupiao/vote3.asp?id=2'
req = urllib2.Request(url)
resp = urllib2.urlopen(req)
respHtml = resp.read()
# 由于存在汉字,将页面转码成utf-8
respHtml = respHtml.decode('gbk').encode('utf-8')
return respHtml

这里写了个函数,调用了urllib2这个库。最开始版本并没有转码这一步,但是结果会造成提取出的汉字都是乱码,查了好多资料,才知道需要转码,再次感叹才疏学浅,对网络编程真是没什么经验。

提取出网页信息后,就需要对信息进行处理。由于网页信息中我们需要的信息格式都是相同的,如下所示:

 <div class="tp">
<form action="vote_pass.asp" method="post" name="add">
<div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">安康山水 美哉瀛湖
<label>
<input type="hidden" name="id" value="1"/>
</label>
</div>
<div align="center" style="margin-top:0px;margin-bottom:10px;">NO1 作者:飞扬古</div>
<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:'Times New Roman', Times, serif;margin-top:0px;margin-bottom:7px;">票数:23</div>
<div align="center" style="">
<input type="image" name="button" src="vote1.gif" />
</div>
</form>
</div>

则需要写正则表达式匹配这一段落。我们需要的信息包括标语(如上所示的“安康山水 美哉瀛湖”)、ID(如上所示的NO1)、作者、票数。

我首先想到的是findall()函数,可以得到符合条件的列表,而且可以直接提取出我们需要的信息。可是无论我怎么写正则表达式都无法得到想要的结果。然后我就写了这么个正则表达式:“<form.*?</form>”,然后调用findall()函数,直接把所有的<form></form>段匹配了出来,得到了完整的格式(以上面的HTML代码为例):

“<form action="vote_pass.asp" method="post" name="add">\r\n  <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">安康山水 美哉瀛湖\r\n      <label>\r\n      <input type="hidden" name="id"  value=""/>\r\n      </label>\r\n    </div>\r\n\t<div align="center" style="margin-top:0px;margin-bottom:10px;">NO 作者:飞扬古</div>\r\n\t<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:\'Times New Roman\', Times, serif;margin-top:0px;margin-bottom:7px;">票数:</div>”。

将这一段改成正则表达式,我直接把我想要提取的地方(红色部分)改为(.*),就可以得到想要的信息:

“<form action="vote_pass.asp" method="post" name="add">\r\n  <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">(.*)\r\n      <label>\r\n      <input type="hidden" name="id"  value="(.*)"/>\r\n      </label>\r\n    </div>\r\n\t<div align="center" style="margin-top:0px;margin-bottom:10px;">NO(.*) 作者:(.*)</div>\r\n\t<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:\'Times New Roman\', Times, serif;margin-top:0px;margin-bottom:7px;">票数:(.*)</div>”。

将这个正则表达式调用re.compile()函数编译,然后调用re.findall()函数即可得到符合该格式的列表。代码如下:

 def getVoteLists(html):
# 编译正则表达式模式
pattern = re.compile('<form action="vote_pass.asp" method="post" name="add">\r\n <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">(.*)\r\n <label>\r\n <input type="hidden" name="id" value="(.*)"/>\r\n </label>\r\n </div>\r\n\t<div align="center" style="margin-top:0px;margin-bottom:10px;">NO(.*) 作者:(.*)</div>\r\n\t<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:\'Times New Roman\', Times, serif;margin-top:0px;margin-bottom:7px;">票数:(.*)</div>')
matchlist = re.findall(pattern, html) vlist = []
# 将用户ID和票数由str型转换成int型,由于findall()函数得到的列表元素是元组不可改,因此需要转换成可修改的列表
for item in matchlist:
itemlist = list(item)
itemlist[1] = int(itemlist[1])
itemlist[4] = int(itemlist[4])
vlist.append(itemlist)
# 根据票数进行排序
return sorted(vlist, key=lambda x:x[4], reverse=True)

使用re.findall()函数得到一个列表,列表中每个元素是一个元组,元组中包含标语、两个ID(一个HTML代码段中有两个ID变化)、作者、票数。我们将得到的结果根据票数进行排序。由于这些结果都是str类型,无法排序,需要将str转换成int类型,而元组中元素是不可改的,因此在函数中重新生成了个列表,将原列表中的元组改为列表,再对列表中的元素进行类型转换。转换完成后,调用sorted()函数根据票数进行排序。

最后,将结果输出前16项(随意定)。完整代码如下:

 #!/usr/bin/env python
# -*- coding: UTF-8 -*- import urllib2
import re # 获取页面数据
def getUrlRespHtml():
url = 'http://www.mudidi.net//toupiao/vote3.asp?id=2'
req = urllib2.Request(url)
resp = urllib2.urlopen(req)
respHtml = resp.read()
# 由于存在汉字,将页面转码成utf-8
respHtml = respHtml.decode('gbk').encode('utf-8')
return respHtml def getVoteLists(html):
# 编译正则表达式模式
pattern = re.compile('<form action="vote_pass.asp" method="post" name="add">\r\n <div align="center" style="white-space:now=rap; overflow:hidden;width:200px;font-size:13px;margin-top:0px;margin-bottom:10px;">(.*)\r\n <label>\r\n <input type="hidden" name="id" value="(.*)"/>\r\n </label>\r\n </div>\r\n\t<div align="center" style="margin-top:0px;margin-bottom:10px;">NO(.*) 作者:(.*)</div>\r\n\t<div align="center" style="margin-top:0px;color:#990000; font-weight:bold; font-size:14px; font-family:\'Times New Roman\', Times, serif;margin-top:0px;margin-bottom:7px;">票数:(.*)</div>')
matchlist = re.findall(pattern, html) vlist = []
# 将用户ID和票数由str型转换成int型,由于findall()函数得到的列表元素是元组不可改,因此需要转换成可修改的列表
for item in matchlist:
itemlist = list(item)
itemlist[1] = int(itemlist[1])
itemlist[4] = int(itemlist[4])
vlist.append(itemlist)
# 根据票数进行排序
return sorted(vlist, key=lambda x:x[4], reverse=True) def main():
print 'loading...'
html = getUrlRespHtml()
mList = getVoteLists(html) # 显示前16位
print 'Rank\tID\tVoteNums\tAuthor\t\tContent'
print '-' * 60
for i in range(16):
print '%d\t%d\t%d\t\t%s\t\t%s' % (i+1, mList[i][1], mList[i][4], mList[i][3], mList[i][0]) if __name__ == '__main__':
main()

这是对前一段时间学习Python的一个巩固练习。有什么更好更高效的方法欢迎留言讨论。