ProxyPool:具有Getter,Tester和Server的高效ProxyPool

时间:2021-02-03 17:00:52
【文件属性】:
文件名称:ProxyPool:具有Getter,Tester和Server的高效ProxyPool
文件大小:32KB
文件格式:ZIP
更新时间:2021-02-03 17:00:52
redis http flask proxy proxypool 代理池 简易高效的代理池,提供如下功能: 定时抓取免费代理网站,简易可扩展。 使用Redis对代理进行存储临时代理可用进行排序。 定时测试和筛选,剔除不可用代理,留下可用代理。 提供代理API,随机取用测试通过的可用代理。 代理池原理解析可见“”,建议使用之前阅读。 运行示例 API服务器可以见,随机代理,代理源比较少,替换演示。 本样例为GitHub Actions + Kubernetes自动部署master分支代码结果。 使用要求 可以通过两种方式来运行代理池,一种方式是使用Docker(推荐),另一种方式是常规方式运行。 码头工人 如果使用Docker,则需要安装如下环境: 码头工人
【文件预览】:
ProxyPool-master
----supervisord.conf(312B)
----ingress.yml(827B)
----.github()
--------ISSUE_TEMPLATE()
--------workflows()
----proxypool()
--------processors()
--------exceptions()
--------schemas()
--------__init__.py(0B)
--------scheduler.py(3KB)
--------setting.py(3KB)
--------.gitignore(2KB)
--------utils()
--------crawlers()
--------storages()
----Dockerfile(163B)
----deployment.yml(2KB)
----LICENSE(1KB)
----run.py(394B)
----requirements.txt(163B)
----examples()
--------usage.py(740B)
--------__init__.py(0B)
----docker-compose.yml(459B)
----.gitignore(37B)
----.dockerignore(2KB)
----README.md(11KB)

网友评论