Scrapy中集成selenium

面对众多动态网站比如说淘宝等，一般情况下用selenium最好

那么如何集成selenium到scrapy中呢？

因为每一次request的请求都要经过中间件，所以写在中间件中最为合适

from selenium import webdriver

from scrapy.http import HtmlResponse

class JSPageMiddleware(object):

    def process_request(self, request, spider):

        if spider.name == "xinlang":  # 这只是一个示例表示爬虫为新浪，当然可以自定义比如正则表达式对于某一种网址来进行过滤

            browser = webdriver.Chrome()

            browser.get(request.url)

            import time

            time.sleep(3)

            print("访问：{0}".format(request.url))  # 如何在这里发送完成之后就不发送给scrapy下载器了呢？

            return HtmlResponse(url=browser.current_url, body=browser.page_source, encoding="utf-8",request=request)

            # 一旦遇到HTMLResponse，scrapy就不会向download发送了，而是直接返回给spider了,上面所有值都是必须的

注意别忘了将中间件写入到settings中！

是不是可以优化的空间了呢？

每一次请求都要打开一次Chrome，这个就很烦了，因为速度比较慢

from selenium import webdriver

from scrapy.http import HtmlResponse

class JSPageMiddleware(object):

    def __init__(self):

        self.browser = webdriver.Chrome

        super().__init__()

    def process_request(self, request, spider):

        if spider.name == "xinlang":  # 这只是一个示例表示爬虫为新浪，当然可以自定义比如正则表达式对于某一种网址来进行过滤

            self.browser.get(request.url)

            import time

            time.sleep(3)

            print("访问：{0}".format(request.url))  # 如何在这里发送完成之后就不发送给scrapy下载器了呢？

            return HtmlResponse(url=self.browser.current_url, body=self.browser.page_source, encoding="utf-8", request=request)

            # 一旦遇到HTMLResponse，scrapy就不会向download发送了，而是直接返回给spider了,上面所有值都是必须的

这样只需要打开一次Chrome了，但是，注意下，这样的话scrapy就不会关闭了，那怎么办？

我们把它放到spider中

Scrapy中集成selenium

那这样的话，中间件中改为

from scrapy.http import HtmlResponse

class JSPageMiddleware(object):

    def process_request(self, request, spider):

        if spider.name == "xinlang":

            spider.browser.get(request.url)  # 利用spider来进行调用

            import time

            time.sleep(3)

            print("访问：{0}".format(request.url))  # 如何在这里发送完成之后就不发送给scrapy下载器了呢？

            return HtmlResponse(url=spider.browser.current_url, body=spider.browser.page_source, encoding="utf-8", request=request)

但是这样还是有问题，我咋知道什么时间关闭？

Scrapy中集成selenium

from selenium import webdriver

from scrapy.xlib.pydispatch import dispatcher  # scrapy的分发器

from scrapy import signals

class LagouSpider(CrawlSpider):

    name = 'lagou'

    allowed_domains = ['www.lagou.com']

    start_urls = ['https://www.lagou.com/']

    rules = (

        Rule(LinkExtractor(allow=('www.lagou.com/jobs/',)), callback='parse_job'),

    )

    def __init__(self):

        self.browser = webdriver.Chrome

        super().__init__()

        dispatcher.connect(self.spider_closed, signals.spider_closed)  # 没有括号的

    def spider_closed(self):

        print("spider closed")

        self.browser.quit()

是不是和django的用法非常一致？

但是异步处理的时候，则么办，现在是一个同步的请求！

那么重写download

git 搜索scrapy download一搜便知

秒客网

Scrapy中集成selenium

相关文章