开源webspider网络蜘蛛webspider-1.0.0.6.tar.gz

【文件属性】：
文件名称：开源webspider网络蜘蛛webspider-1.0.0.6.tar.gz
文件大小：41KB
文件格式：GZ
更新时间：2016-01-20 04:00:10
webspider 稳定的网络蜘蛛，可以并行抓取多个站点，BS架构控制系统，使用httpsqs 和淘宝的tair可以作为分布式爬虫基础，去重能力强，存储系统为mysql，可以用sphinx等做索引

【文件预览】：
webspider
----uthash.h(58KB)
----tair_client.h(102B)
----log.h(1KB)
----get_conf.h(285B)
----url.h(594B)
----get_conf.c(2KB)
----strfunc.c(3KB)
----httpsqs_client.cpp(9KB)
----robots.c(2KB)
----stdhead.h(618B)
----httpsqs_client.h(750B)
----tair_client.cpp(4KB)
----utother.c(2KB)
----url.c(10KB)
----webspider.conf(159B)
----html.c(11KB)
----options.h(8KB)
----socket.c(2KB)
----iconv_me.c(5KB)
----Makefile(1KB)
----misc.c(895B)
----strfunc.h(509B)
----misc.h(383B)
----webspider.c(2KB)
----iconv_me.h(377B)
----uthash.c(2KB)
----server.c(17KB)
----thread.c(8KB)
----robots.h(252B)
----server.h(408B)
----log.c(71B)
----socket.h(911B)
----options.c(8KB)
----html.h(953B)
----thread.h(421B)
----webspider.h(83B)