今天学习分析ajax 请求,现把学得记录,
把我们在今日头条搜索街拍美图的时候,今日头条会发起ajax请求去请求图片,所以我们在网页源码中不能找到图片的url,但是今日头条网页中有一个json 文件,这相文件中就包括单个图集的具体url,通过访问这个url ,又可以获取一个json 文件,这个json 文件中有个键是url_list 这个键的值是一个List ,这个list中就存入了具体单个图片的下载url ,通过request.get()方法去访问这个url ,然后把得到content以二进制的方式写入到本地,并把其他数据存入到mongodb中,
代码如下,
import requests
import json
from urllib.parse import urlencode
from requests.exceptions import RequestException
import re
from bs4 import BeautifulSoup
from config import *
import pymongo
from hashlib import md5
import os
from multiprocessing import Pool def get_page_index(offset, keyword):
"""传入要数据,获得详情页面"""
data = {
"autoload": "true",
"count": 20,
"cur_tab": 3,
"format": "json",
"from": "gallery",
"keyword": keyword,
"offset": offset,
}
url = "https://www.toutiao.com/search_content/?" + urlencode(data)
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
return None
except RequestException:
print("请求index页面失败")
return None def parse_page_index(html):
"""头条街拍图片存在一个json中,json中的data就是单个图集的信息"""
data = json.loads(html)
if data and "data" in data.keys():
for item in data.get("data"):
yield item.get("article_url") def get_page_detail(url):
"""获得单个图集url的信息"""
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
return None
except RequestException:
print("请求详情页面失败")
return None def parse_page_detail(html, url):
"""解析单位个图集url的网页信息,因为信息存放于一个json文件中,这个json文件嵌套在html中,所以使用re解析"""
# 先用BeautifulSoup获得title.
soup = BeautifulSoup(html, "lxml")
title = soup.select("title")[0].get_text()
print(title)
images_pattern = re.compile('parse\("(.*?)"\),', re.S)
result = re.search(images_pattern, html) if result:
data = result.group(1)
data = json.loads(data)
if data and "url_list" in data.keys():
url_list = data.get("url_list")
images = [item.get("url") for item in url_list]
for image in images:
# 调用函数下载图片到本地
download_imag(image)
# 返回数据,返回的数据存入mongodb
return {
"title": title,
"images": images,
"url": url,
} def save_to_mongo(result):
client = pymongo.MongoClient(MONGO_URL, connect=False)
db = client[MONGO_DB]
if db[MONGO_TABLE].insert(result):
print("insert into mongo success", result)
return True
else:
return False def download_imag(url):
"""# 下载图片到本地"""
print("正在下载 :", url)
try:
response = requests.get(url)
if response.status_code == 200:
# response.content 返回二进制内容
# response.text返回字符串
save_image(response.content)
except RequestException:
print("请求图片失败", url) def save_image(content):
"""解析图片url的信息,把获得的信息写入本地文件中"""
file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), "jpg")
if not os.path.exists(file_path):
with open(file_path, "wb") as f:
f.write(content) def main(offset):
"""主函数"""
html = get_page_index(offset, KEYWORD)
# 防止get_page_index没有取回数据
if html is not None:
for url in parse_page_index(html):
html = get_page_detail(url)
if html:
result = parse_page_detail(html, url)
save_to_mongo(result)
print(result)
else:
print("get_page_index 函数没有取到数据") if __name__ == "__main__":
"""使用多进程加快速度"""
groups = [x * 20 for x in range(GROUP_START, GROUP_END)]
pool = Pool()
pool.map(main, groups)
这个程度代码相对简单,逻辑清楚,程序之间参数传递及程序的跳转也不难,只是分析今日头条的ajax请求,及获得各个json文件相对复杂一点.
我把程度的配置信息写在config.py 这个文件中,这样方法之后程序的重用,
config.py 代码如下:
MONGO_URL="localhost"
MONGO_DB="toutiao"
MONGO_TABLE="toutiao" GROUP_START = 1 # 定义起始循环点
GROUP_END = 20 # 定义终止循环点
KEYWORD="街拍"
通过这个程序,学会了分析,这种通过发起ajax请求而获取数据的网页的源码分析.这个程序不足的地方是,这个程序是用requsts库做的解析,程序会是用函数而不是类去实现,后续要把这个程序改用scrapy 库去实现.