文件名称：论文研究-基于GNP算法的分布式爬虫调度策略.pdf
文件大小：364KB
文件格式：PDF
更新时间：2022-08-11 17:26:06
分布式爬虫,任务调度,负载均衡,网络测量,全局网络定位
针对分布式搜索引擎的任务调度及负载均衡问题，提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量，不仅提高了系统的响应速度，还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点，构建分布式搜索引擎，应用该调度策略进行实验，验证了系统性能有较大提高。