（五）selenuim和phantonJs处理网页动态加载数据的爬取

selenuim和phantonJs处理网页动态加载数据的爬取

一 图片懒加载

• 自己理解------就是在打开一个页面的时候,图片数量特别多,图片加载会增加服务器的压力,所以我们在这个时候,就会用到---懒加载,,网页解析是从上往下的。在解析的过程里，如果遇见资源了，浏览器会再次请求的。但是一个网页可能存在很多请求的资源。
• 图片懒加载是一种网页优化技术。图片作为一种网络资源，在被请求时也与普通静态资源一样，将占用网络资源，而一次性将整个页面的所有图片加载完，将大大增加页面的首屏加载时间。为了解决这种问题，通过前后端配合，使图片仅在浏览器当前视窗内出现时才加载该图片，达到减少首屏图片请求数的技术就被称为“图片懒加载”

• 网站一般如何实现图片懒加载技术呢？

  • 在网页源码中，在img标签中首先会使用一个“伪属性”（通常使用src2，original......）去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中，会动态将伪属性替换成src属性，完成图片的加载。

'''
站长素材为例  http://sc.chinaz.com/
下载里面的高清图片
'''
import requests
from lxml import etree

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}

url = 'http://sc.chinaz.com/tupian/eluosi.html'

page_text = requests.get(url=url, headers=headers).text

tree = etree.HTML(page_text)
div_list = tree.xpath('//div[@id="container"]/div')

for div in div_list:
    img_url = div.xpath('./div/a/img/@src2')[]  # ./div/a/img/@src
    # print(img_url) #打印的是空值,因为在爬虫时没有拿到真正的url,我们需要将src改成src2就可以了

    pic = requests.get(url=img_url,headers=headers).content
    print(pic)
    imgName = img_url.split('/')[-]
    filePath = './pic/' + imgName
    with open(filePath,'wb') as f:
        f.write(pic)

二.selenium

1 什么是selenium

　　selenium是python中对外提供的接口可以操作浏览器，然后让浏览器完成自动化的操作.

2 环境搭建

　　安装 pip install selenium

　　获取某一款浏览器的驱动程序（以谷歌浏览器为例）

• 谷歌浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html

• 下载的驱动程序必须和浏览器的版本统一，大家可以根据http://blog.csdn.net/huilan_same/article/details/51896672中提供的版本映射表进行对应

import time
from selenium import webdriver

b = webdriver.Chrome(executable_path=r'D:\爬虫\part_one\驱动\chromedriver\chromedriver.exe')  #   上面下载的驱动
time.sleep()

url = 'http://www.baidu.com'
b.get(url=url)

myText = b.find_element_by_id('kw')  # 找到百度的input框 输入 '美女'
myText.send_keys('美女')

myButton = b.find_element_by_id('su') # 找到百度的按钮
myButton.click()
time.sleep()

b.quit()

三.phantomJs

PhantomJS是一款*面的浏览器，其自动化操作流程和上述操作谷歌浏览器是一致的。由于是*面的，为了能够展示自动化操作流程，PhantomJS为用户提供了一个截屏的功能，使用save_screenshot函数实现

import time
from selenium import webdriver

　　　　       # PhantomJS
b = webdriver.PhantomJS(executable_path=r'C:\Users\xxxxxx\Desktop\课上代码\part_one\4.selenium&phantomjs\
　　　　　　　　　　　　　　　phantomjs-2.1.1-windows\bin\phantomjs.exe')
time.sleep()

url = 'http://www.baidu.com'
b.get(url=url)

b.save_screenshot('./1.png')   # 加一个截图

myText = b.find_element_by_id('kw')
myText.send_keys('美女')
b.save_screenshot('./2.png')   # 加一个截图

myButton = b.find_element_by_id('su')
myButton.click()
b.save_screenshot('./3.png')   # 加一个截图

time.sleep()
b.quit()