【文件属性】：
文件名称：collyzar:基于分布式Redis的Web爬网程序框架
文件大小：27KB
文件格式：ZIP
更新时间：2021-03-20 08:15:01
Go
科利扎尔
基于分布式Redis的colly框架。
Collyzar提供了一个非常简单的配置和工具来实现分布式爬网/爬网。
特征
简单的配置和简洁的API
分布式抓取/抓取
内置全局布隆过滤器
内置蜘蛛缓存
支持redis命令
多机负载均衡
支持暂停或停止所有爬行机器
将其他信息传递给搜寻器，并将其放入搜寻器中，并将其存储在数据库中
安装
将collyzar添加到您的go.mod文件中：
module github.com/x/y
go 1.14
require (
github.com/Zartenc/collyzar/v2 latest
)
用法示例
有关更多详细示例，请参见。
履带式集群机
SpiderName必须是唯一的。
运行后，它将始终监视redis爬网程序队列是否进行爬网，直到收到暂停或停止信号为止。
func main(){
cs := &col
【文件预览】：
collyzar-master
----storage.go(2KB)
----bloom()
--------redisbloom.go(3KB)
----config.go(733B)
----examples()
--------visit_amazon_extend.go(568B)
--------push_redis.go(431B)
--------visit_amazon.go(358B)
--------stop_spiders.go(211B)
----.gitignore(18B)
----collyzar.go(11KB)
----cache.go(600B)
----go.sum(38KB)
----README.md(2KB)
----tool.go(1KB)
----go.mod(284B)