【文件属性】:
文件名称:ProxyPool:给爬虫使用的代理IP池
文件大小:897KB
文件格式:ZIP
更新时间:2021-02-05 20:31:53
spring-boot parallel rxjava2 SpringBootJava
代理池
ProxyPool的作用:从网络上获取免费的IP代理数据。先用爬虫程序抓取代理数据,再检查代理是否可用,可用的话就存放到数据库中。每隔重复重复执行这个过程。
ProxyPool的技术:Spring Boot + RxJava2.x + MongoDB等,前端:layUI + jquery等
ProxyPool的概述:该项目有两个模块proxypool和proxypool-web,从网络上抓取数据的核心工作由proxypool模块完成,可以在站点这个程序包下添加针对不同网页的解析类。proxypool-web模块是依赖proxypool模块实现的sample模块。
1.使用方法
单独