ProxyPool:给爬虫使用的代理IP池

时间:2021-02-05 20:31:53
【文件属性】:
文件名称:ProxyPool:给爬虫使用的代理IP池
文件大小:897KB
文件格式:ZIP
更新时间:2021-02-05 20:31:53
spring-boot parallel rxjava2 SpringBootJava 代理池 ProxyPool的作用:从网络上获取免费的IP代理数据。先用爬虫程序抓取代理数据,再检查代理是否可用,可用的话就存放到数据库中。每隔重复重复执行这个过程。 ProxyPool的技术:Spring Boot + RxJava2.x + MongoDB等,前端:layUI + jquery等 ProxyPool的概述:该项目有两个模块proxypool和proxypool-web,从网络上抓取数据的核心工作由proxypool模块完成,可以在站点这个程序包下添加针对不同网页的解析类。proxypool-web模块是依赖proxypool模块实现的sample模块。 1.使用方法 单独

网友评论