工具及环境
1、操作系统：windows 64位系统
2、软件工具：谷歌浏览器、pycharm集成开发工具
3、第三方库：request
注：如果第三方库搭建有困难，请看博客：https://www.cnblogs.com/chuijingjing/p/9157049.html
明确要目标
首先，我们了解一下什么是爬虫。网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
我们今天要爬的内容是百度音乐里面的音乐，为什么要爬百度音乐呢？当然是因为这个软件太垃圾了，根本没有反扒机制，所以我们挑软柿子捏。像我们的信仰网易云音乐是不可能让我们轻易爬到它的内容的，如果想要爬网易云，要有防反爬机制。我们这次只是简单介绍爬虫的原理，写一个小小的爬虫，下次我会给大家带来一个加入防反爬机制复杂的爬虫。话不多说，让我们开干！
说干咱就干
1、脉络梳理
首先，我们把要做的工作先来大体梳理一下，好有一个清晰的脉络。
1.爬虫的本质（模拟浏览器的行为）
网络爬虫；
模拟浏览器，访问互联网资源，根据我们制定的规则，
批量的下载我们所需要的数据的程序。 2.利用谷歌浏览器分析http请求
网络资源（例如：网上的歌曲、图片），每一个网络
资源都有全球唯一的一个url。
url（全球统一资源定位符） F12 打开
network选项监控http请求 3.分析百度音乐的请求流程
下载mp3
倒推法
1、先找到mp3的下载请求
2、歌曲的下载地址也是从服务器请求回来的，
找到下载地址的那个请求，根据歌曲id
3、找到歌曲的id 4.通过python去实现请求
2、浏览器设置
我们先进入“百度音乐”，搜索你喜欢的歌手的音乐，我比较喜欢华仔。然后点击浏览器右上方的三个点，选择“更多工具”，选择“开发者工具”，进入开发者模式。或者直接按“F12”进入开发者模式。
点击“Network”，在“Disable cache”前面打上√，不要去缓存，否则死活找不到请求的数据
按照1、2、3、4、5的顺序做下来
1：清空内容；
2：回车，发出请求；
3：查看所有请求的信息；
4：每个请求的名字；
5：每个请求的详细信息。
Header：头信息
- Request URL:http://music.baidu.com/cms/hunter/alog/speed.min.js?v=160115 # 请求的地址
- Request Method:GET # 请求的方法
- Status Code:200 OK # 是 http请求成功后返回的 int值
- Remote Address:180.76.141.217:80 # 远程地址
- Referrer Policy:no-referrer-when-downgrade # 按照浏览器的默认值执行。默认值为 no-referrer-when-downgrade
先点完上面三个标注按钮，然后点击播放按钮，播放音乐；
音乐播放几秒钟后关闭播放，然后点击下面的三个按钮；
接下来就是分析歌曲的头信息Headers了。
按照图示，找到网页文字对应的网页源码的信息
上面界面中鼠标右键查看页面源码，出现下面的源码界面，按Ctrl+F出现搜索界面，搜索要用到的内容。
3、爬取一首歌曲
由浅入深，我们先来写一段简单的代码，用它来只爬取一首歌。
# -*- coding: utf-8 -*-
# the auther is cjj import requests # 导入关于请求模块
url = 'http://zhangmenshiting.qianqian.com/data2/music/5ebb214edf0a1589e3e1ca58196981e5/594723982/
594723982.mp3?xcode=f6925df9ce85d4400c486914f0acd7b6'
# 发送http请求
response = requests.get(url) # response 接收请求回来的数据
print(response.content) # response.content 输出歌曲的二进制信息
# 把下载下来的歌曲储存为mp3文件
with open('mp3.mp3','wb') as f: # 把文件以‘f’的名字命名，下面以‘f’为名字打开
f.write(response.content)
这样，我们就可以实现爬虫的基本功能了，我们来看一下这首歌能不能听。
这是你的代码和歌曲储存地址，我们去这里来找一下华仔的“慢慢”
果然在这里找到了，双击之后发现歌曲可以正常播放。
这样，我们完成了一个最简单的歌曲的爬取。
注：文件操作方面如果不了解可以参考：https://www.cnblogs.com/chuijingjing/articles/8034238.html
4、代码演示
文件操作内容：https://www.cnblogs.com/chuijingjing/articles/8034238.html
字典相关内容：https://www.cnblogs.com/chuijingjing/articles/8007387.html
json相关内容：https://www.cnblogs.com/chuijingjing/articles/8074292.html
正则相关内容：http://www.runoob.com/regexp/regexp-syntax.html
# -*- coding: utf-8 -*-
# the auther is cjj import requests
import re
# 第一步，获取歌曲的ids
search_api = 'http://music.baidu.com/search'
# 搜索关键字，传递参数，通过字典构造
keyword = {'key': '刘德华'}
# 发送get请求 params 是传递的get参数
response = requests.get(search_api, params=keyword)
# 取出html的源码
response.encoding = 'utf-8' # 编码转换
html = response.text
# 通过正则表达式获取id
ids = re.findall(r'{"id":"(\d+)"',html) # 第二步，获取歌曲的信息
mp3_info_api = 'http://play.baidu.com/data/music/songlink'
data = {
'songIds': ','.join(ids),
'hq': 0,
'type': 'm4a,mp3',
'rate': '',
'pt': 0,
'flag': -1,
's2p': -1,
'prerate': -1,
'bwt': -1,
'dur': -1,
'bat': -1,
'bp': -1,
'pos': -1,
'auto': -1
}
# data就是 post的参数
res = requests.post(mp3_info_api,data=data)
# 返回值的数据是就送格式，直接调用json方法，转成字典
info = res.json() # 第三步，去下载歌曲
# 根据数据的结构获取歌曲的信息
song_info = info['data']['songList']
# 循环
for song in song_info:
# 根据数据结构获取信息
# 歌名
song_name = song['songName']
# mp3地址
song_link = song['songLink']
# 格式
for_mat = song['format']
# 歌词地址
lrclink = song['lrcLink']
print(song_name)
# 下载mp3
if song_link: # 可能没有地址
song_res = requests.get(song_link) # 下载
# 写文件
with open('%s.%s' % (song_name, for_mat),'wb') as f:
f.write(song_res.content) # 歌曲是二进制
# 下载歌词
if lrclink:
lrc_response = requests.get(lrclink)
# 写文件
with open('%s.lrc' % song_name, 'w', encoding= 'gbk') as f:
f.write(lrc_response.text)
下面是成功爬取到的音乐！
