qiwur-satellite:基于Webkit(phantomjs)的网络抓取工具,用作爬虫(例如nutch)的前端

时间:2024-05-25 03:37:53
【文件属性】:

文件名称:qiwur-satellite:基于Webkit(phantomjs)的网络抓取工具,用作爬虫(例如nutch)的前端

文件大小:12.77MB

文件格式:ZIP

更新时间:2024-05-25 03:37:53

JavaScript

Project Satellite是基于phantomjs的访存客户端,它像真正的人类一样访问目标网站。 该项目与增强的坚果版本一起工作: : 要运行该项目, 确保您在众包中运行了Nutch Server 输入项目主目录 编辑conf / config.json,以众筹模式将fetchController.nutchServer修改为正在运行的nutch服务器 Windows:start-satellite.bat linux:./ bin / satellite启动


【文件预览】:
qiwur-satellite-master
----maintenance.bat(513B)
----.gitignore(3KB)
----src()
--------client.js(846B)
--------updater.js(2KB)
--------cclient.js(9KB)
--------fetcher()
--------tagger.js(4KB)
--------satellite.js(13KB)
--------reporter.js(1KB)
--------site()
--------tests()
--------config.js(802B)
--------fetcher.js(10KB)
--------logger.js(2KB)
--------lib()
--------waitfor.js(2KB)
--------wikilize.js(5KB)
--------coordinator.js(10KB)
--------server.js(9KB)
--------beta()
----bin()
--------satellite(3KB)
--------phantomjs.exe(6.69MB)
----stop-satellite.bat(43B)
----start-satellite.bat(2KB)
----dependence()
--------vcredist_x86.exe(6.2MB)
----README.md(523B)
----conf()
--------alternatives()
--------sites.json(3KB)
--------updater.config.json(84B)
--------config.json(2KB)
----.gitattributes(483B)
----wwwroot()
--------tagger.js(2KB)
--------index.htm(1KB)
--------jquery.min.js(90KB)
--------index.js(737B)
--------tagger.htm(2KB)
--------favicon.ico(2KB)

网友评论