在成功登陆之后，我们可以进行下一波操作了~

接下来，我们的目的是通过输入关键字，找到相关用户，并收集用户的一些基本信息

 

环境

tools

1、chrome及其developer tools

2、python3.6

3、pycharm

 

Python3.6中使用的库

 1 import urllib.error
 2 import urllib.request
 3 import urllib.parse
 4 import urllib
 5 import re
 6 import json
 7 import pandas as pd
 8 import time
 9 import logging
10 import random
11 from lxml import etree

 

关键词搜索

我们首先在微博首页输入关键词，进入搜索页面

 

搜索后，我们发现网址为http://s.weibo.com/user/%25E4%25B8%258A%25E8%25AE%25BF&Refer=weibo_user

很显然，前面的“http://s.weibo.com/user/”网页基础地址，“%25E4%25B8%258A%25E8%25AE%25BF”看起来很像关键词的一种编码形式，最后的一段内容我们先放一边，点击进入下一页继续观察规律

进入第二页后，我们发现网址变为http://s.weibo.com/user/%25E4%25B8%258A%25E8%25AE%25BF&page=2

这时，我们需要猜想，如果将“page=”之后的数字改为1，是否会跳转回首页：

成功了，这样我们就可以将url分为三部分。

 

现在，我们需要对中间编码部分进行解析，发现它经过两次url编码。

因此，最后搜索页的url连接如下：

1 import urllib.request
2 
3 keyword = \'*\'
4 once = urllib.request.quote(keyword)
5 pagecode = urllib.request.quote(once)
6 
7 i = 1   # 页数
8 url = \'http://s.weibo.com/user/\' + pagecode + \'&page=\' + str(i)

 

用户基本信息提取

接下来，我要对用户的一些基本信息进行爬取。

经过观察，初步确定了搜索页面所能爬取到的用户信息字段：

  • 微博ID——_id
  • 微博名——name
  • 地区——location
  • 性别——gender
  • 微博地址——weibo_addr
  • 关注——follow
  • 粉丝——fans
  • 微博数——weibo_num
  • 简介——intro
  • 职业——职业信息
  • 教育——教育信息
  • 标签——标签

　　（其中，红色字段是必有的。）

 我们将先对【必有字段】进行爬取，再研究如何爬取【非必有字段】。

 

首先我们先观察网页源码，定位到用户主体部分【可以用Chrome自带的developer tools中的element进行定位】

于是我们发现，开头为“<script>STK && STK.pageletM && STK.pageletM.view({"pid":"pl_user_feedList"”，我们可以通过正则表达式，寻找出该内容

此外，仔细观察还能发现()里面的内容为json格式。

万岁~~

这样对我们提取所需的html内容十分的有帮助~~

 1 data = urllib.request.urlopen(url,timeout=30).read().decode(\'utf-8\') 
 2 
 3 lines = data.splitlines()
 4 for line in lines:
 5     if not line.startswith(\'<script>STK && STK.pageletM && STK.pageletM.view({"pid":"pl_user_feedList","js":\'):
 6         continue
 7 
 8     json_pattern = re.compile(\'\((.*)\)\')
 9     # 利用正则取出json
10     json_data = json_pattern.search(line).group(1)
11     # 将json包装成字典并提取出html内容
12     html = json.loads(json_data)[\'html\']

 

然后开始正式的网页内容解析，先对【必有字段】进行解析。

这里，我们依旧需要借助Chrome上的developer tools

通过elements，我们定位到微博名对应的html内容，我们可以利用lxml中的etree和xpath获取title名。

同理，我们也可以得到其他必有字段，最后我们讲所有内容存储成一个dict，每个key对应的value则为一个list：

1 page = etree.HTML(html)
2 info_user[\'name\'] = page.xpath(\'//a[@class="W_texta W_fb"]/@title\')
3 info_user[\'_id\'] = page.xpath(\'//a[@class="W_btn_b6 W_fr"]/@uid\')
4 info_user[\'weibo_addr\'] = page.xpath(\'//a[@class="W_texta W_fb"]/@href\')
5 info_user[\'gender\'] = page.xpath(\'//p[@class="person_addr"]/span[1]/@title\')
6 info_user[\'location\'] = page.xpath(\'//p[@class="person_addr"]/span[2]/text()\')
7 info_user[\'follow\'] = page.xpath(\'//p[@class="person_num"]/span[1]/a/text()\')
8 info_user[\'fans\'] = page.xpath(\'//p[@class="person_num"]/span[2]/a/text()\')
9 info_user[\'weibo_num\'] = page.xpath(\'//p[@class="person_num"]/span[3]/a/text()\')

 

最后是对【非必有字段】的爬取

该类字段爬取的思代码逻辑是这样的

利用lxml包中的etree抓取子树（class="person_detail")

再对子树下的枝干进行遍历，判断是否存在简介（class="person_info"）和标签（class="person_label"），分别进行不同的处理

值得注意的是，部分标签下的内容不止一个，因此我们必须对标签内容进行一次判断和遍历。

由于简介和标签分别处于两个枝干，因此可以编辑两个不同的函数进行提取：

 1 # 提取简介信息
 2 def info(self, p, path):
 3     \'\'\'
 4     extract introduction of users
 5     :param p: input an etree
 6     :param path: input xpath which must be a string
 7     :return: a string
 8     \'\'\'
 9     if type(path) == str:
10         info = p.xpath(path)
11         if len(info) == 0:
12             sub_info = \'\'
13         else:
14             sub_info = info[0]
15 
16         return sub_info
17     else:
18         print(\'please enter the path as a string\')
19 
20 # 提取标签信息：标签、教育信息、工作信息
21 def labels(self, p, path, key):
22     \'\'\'
23     extract labels, such as hobbits, education, job, of users
24     :param p: input an etree
25     :param path: input xpath which must be a string
26     :param key: keywords of labels
27     :return: a string
28     \'\'\'
29     label = p.xpath(path)
30     if len(label) == 0:
31         sub_label = \'\'
32     else:
33         for l in label:
34             label_name = re.compile(\'(.*?)：\').findall(l.xpath(\'./text()\')[0])
35             if label_name[0] == key:
36                 # 读取出标签信息下的所有标签内容
37                 all_label = l.xpath(\'./a/text()\')
38                 l = \'\'
39                 for i in all_label:
40                     l = re.compile(\'\n\t(.*?)\n\t\').findall(i)[0] + \',\' + l
41                     sub_label = l
42             else:
43                 sub_label = \'\'
44 
45     return sub_label

 

构造完函数后，可以提取所有用户的信息啦~

需要注意的是，返回的内容是单个子树下的一个string，遍历当前页的所有用户的信息，则需要做成list：

 1 info_user[\'intro\'] = []
 2 info_user[\'标签\'] = []
 3 info_user[\'职业信息\'] = []
 4 info_user[\'教育信息\'] = []
 5 others = page.xpath(\'//div[@class="person_detail"]\')
 6 for p in others:
 7     path1 = \'./div/p/text()\'
 8     info_user[\'intro\'].append(self.info(p, path1))
 9     path2 = \'./p[@class="person_label"]\'
10     info_user[\'标签\'].append(self.labels(p, path2, \'标签\'))
11     info_user[\'职业信息\'].append(self.labels(p, path2, \'职业信息\'))
12     info_user[\'教育信息\'].append(self.labels(p, path2, \'教育信息\'))

 

遍历所有页面

在成功实践了用户基本信息的爬取之后，需要遍历所有的网页

这里，我们可以用很傻瓜的方法，自己观察一共有几页，然后编一个for循环

然鹅！！！博主我绝对不会干这种蠢事的！！！必须要有一个更加装x的方式来遍历才行！

 

于是，继续依赖developer tools，找到点击下一页对应的元素，我们发现了一个神奇的东西——class="page next S_txt1_S_line1"

这不就是绝佳的定位是否存在下一页的神器么！！！

于是，最佳代码逻辑诞生啦~~

通过判断能否提取出该内容来决定是否进入还需进入下一页i += 1

 1 i = 1
 2 Flag = True
 3 while Flag:
 4     # 构建url
 5     url = \'http://s.weibo.com/user/\' + pagecode + \'&page=\' + str(i)
 6     try:
 7         # 超时设置
 8         data = urllib.request.urlopen(url,timeout=30).read().decode(\'utf-8\')
 9     except Exception as e:
10         print(\'出现异常 -->\'+str(e))
11 
12     …………
13 
14     next_page = page.xpath(\'//a[@class="page next S_txt1 S_line1"]/@href\')[0]
15     if len(next_page) == 0 :
16         Flag = False
17     else:
18         page_num = re.compile(\'page=(\d*)\').findall(next_page)[0]
19         i = int(page_num)

 

撒花~~~代码的整体逻辑就这么完善啦~~~

最后，我们需要解决的就是反爬的问题了，博主在这方面还没有深入研究过

不过主要思路还是有的：

  1. 每次遍历设置一个time.sleep()
  2. 设置好详细的头文件
  3. 寻找代理IP

 

最后完整版代码就不贴上来啦~~如果有疑问可以在下面回复多多交流~

撒花完结~~