【文件属性】:
文件名称:phpDhtSpider:php实现的dht爬虫
文件大小:285KB
文件格式:ZIP
更新时间:2021-02-02 17:47:32
metadata p2p dht swoole bittorrent-protocol
phpDhtSpider
php实现的dht爬虫(分布式)
需要swoole发展
swoole版本1.9.18
PHP版本5.6+
#########运行说明##############
dht_client目录为爬虫服务器环境要求
1.php安装swoole扩展(pecl install swoole默认安装1.9.18版本)
2.设置服务器ulimit -n 100000
3.关闭防火墙有后台策略控制的也关闭测试(dht网络端口不确定)
4.运行php go.php
很多采集不到数据是由于第三点导致的
================================================== ===========
dht_server目录接受数据服务器(可在同一服务器)环境要求
1.php安装swoole扩展(pecl install swoole默认安装1.9.18版本)
2.设置服务器ulimit -n 100000
3.防火墙开发dht_client请求的对应端口(配置项中)
4.运行php go.php ////
【文件预览】:
phpDhtSpider-master
----dht_client_v2(task)()
--------config.php(318B)
--------inc()
--------go.php(5KB)
----dht_server()
--------config.php(193B)
--------inc()
--------go.php(3KB)
----sql()
--------dht.sql(2KB)
----README.md(825B)
----dht_client()
--------config.php(246B)
--------logs()
--------inc()
--------go.php(4KB)
----hashInfo_20170705.log(521KB)