最简单的python爬虫实战——爬取王者荣耀皮肤及头像

看到某公众号的一篇非常容易上手的爬虫实例，之前只是模拟登陆过，还没有爬取过数据或者文件，一直没怎么接触过json这个东西，发现也没有那么难上手，233333，总之是一次非常愉快的爬虫经历，简单又简洁的代码，就可以获取到所需要的信息。

urllib库的用法：

urllib.request.urlopen()   #打开某网址
urllib.request.urlrestrive(url,save_file_name)   #将远程数据下载到本地
urlretrieve(url, filename=None, reporthook=None, data=None)
#详细：reporthook,调用函数返回下载进度
#data,post到服务器的数据，该方法返回一个包含两个元素的(filename, headers)元组，filename 表示保存到本地的路径，header 表示服务器的响应头。

reporthook的用法：

def callback(blocknum,blocksize,totalsize) //定义回传的函数

函数会传入三个参数：

到现在传输的块数 blocknum.
每一块的大小 blocksize.
文件总大小 totalsize.

json的用法：

json.loads()   #从json中提取数据, 将str类型的数据转成dict

解决了一些小问题，完整代码就写出来了~

#-*- coding:utf-8 -*-
import urllib.request
import json

respond = urllib.request.urlopen("http://pvp.qq.com/web201605/js/herolist.json")

json_hero = json.loads(respond.read().decode('utf-8'))   //read()读取网址并解码
hero_num = len(json_hero)

def callback(blocknum,blocksize,totalsize):
    percent = 100.0*blocknum*blocksize/totalsize
    if percent > 100:
        percent = 100
    print("percent:", percent)


for i in range(hero_num):
    skin_names = json_hero[i]['skin_name'].split('|')
    hero_name = json_hero[i]['ename']
    skin_num = len(skin_names)

    print(hero_name, skin_names, skin_num)

for i in range(hero_num):                     //下载头像
    save_file_name = 'D:\wangzhetouxiang\\' + str(json_hero[i]['ename']) + '.jpg'
    url = ('http://game.gtimg.cn/images/yxzj/img201606/heroimg/' + str(json_hero[i]['ename']) + '/'
           + str(json_hero[i]['ename']) + '.jpg')

    urllib.request.urlretrieve(url, save_file_name, callback)

for i in range(hero_num):                                  //下载皮肤
    skin_names = hero_json[i]['skin_name'].split('|')

    for cnt in range(len(skin_names)):
        save_file_name = ('D:\wangzhe\\' + str(hero_json[i]['ename']) + '-' + hero_json[i]['cname'] + '-'
                          + skin_names[cnt] + '.jpg')
        skin_url = ('http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/' + str(hero_json[i]['ename']) + '/'
                    + str(hero_json[i]['ename']) + '-bigskin-' + str(cnt+1) + '.jpg')
        urllib.request.urlretrieve(skin_url, save_file_name)

秒客网

最简单的python爬虫实战——爬取王者荣耀皮肤及头像

相关文章