基于scrapy的redis安装和配置方法

时间:2022-09-21 12:37:17

在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。

Redis 是一个高性能的 Key-Value 数据库,它把数据保存在内存里。因此可以有非常快的数据读写速度。

scrapy-redis安装

?
1
2
pip install scrapy-redis
easy_install scrapy-redis

下载

http://redis.io/download

版本推荐

?
1
stable 3.0.2

运行redis

?
1
redis-server redis.conf

清空缓存

?
1
redis-cli flushdb

scrapy配置redis

settings.py配置redis

?
1
2
3
4
5
6
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
REDIS_URL = None # 一般情况可以省去
REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhost
REDIS_PORT = 6379

在scrapy中使用scrapy-redis

spider 继承RedisSpider

?
1
2
3
class tempSpider(RedisSpider)
name = "temp"
redis_key = ''temp:start_url"

以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持服务器之家。

原文链接:https://blog.csdn.net/xx1710/article/details/51187356