【文件属性】:
文件名称:ProxyPool:具有Getter,Tester和Server的高效ProxyPool
文件大小:32KB
文件格式:ZIP
更新时间:2021-02-03 17:00:52
redis http flask proxy proxypool
代理池
简易高效的代理池,提供如下功能:
定时抓取免费代理网站,简易可扩展。
使用Redis对代理进行存储临时代理可用进行排序。
定时测试和筛选,剔除不可用代理,留下可用代理。
提供代理API,随机取用测试通过的可用代理。
代理池原理解析可见“”,建议使用之前阅读。
运行示例
API服务器可以见,随机代理,代理源比较少,替换演示。
本样例为GitHub Actions + Kubernetes自动部署master分支代码结果。
使用要求
可以通过两种方式来运行代理池,一种方式是使用Docker(推荐),另一种方式是常规方式运行。
码头工人
如果使用Docker,则需要安装如下环境:
码头工人
【文件预览】:
ProxyPool-master
----supervisord.conf(312B)
----ingress.yml(827B)
----.github()
--------ISSUE_TEMPLATE()
--------workflows()
----proxypool()
--------processors()
--------exceptions()
--------schemas()
--------__init__.py(0B)
--------scheduler.py(3KB)
--------setting.py(3KB)
--------.gitignore(2KB)
--------utils()
--------crawlers()
--------storages()
----Dockerfile(163B)
----deployment.yml(2KB)
----LICENSE(1KB)
----run.py(394B)
----requirements.txt(163B)
----examples()
--------usage.py(740B)
--------__init__.py(0B)
----docker-compose.yml(459B)
----.gitignore(37B)
----.dockerignore(2KB)
----README.md(11KB)