文件名称:CrawlSpider-master
文件大小:75KB
文件格式:ZIP
更新时间:2019-01-07 17:35:59
CrawlSpider
什么是爬虫? 从逻辑角度讲,爬虫对应一个树。树枝是网页,树叶是感兴趣的信息。 当我们从一个URL出发查找感兴趣的信息时,当前URL返回的内容可能包含我们感兴趣的信息,也可能包含另一个可能包含我们感兴趣的信息的URL。一个爬虫对应一次信息搜索,信息搜索过程会建立起一棵树。
【文件预览】:
CrawlSpider-master
----lib()
--------.DS_Store(6KB)
--------BaseCrawl.php(77B)
--------Proxy.php(557B)
--------Router.php(733B)
--------Crawl.php(8KB)
----controller()
--------DefaultController.php(666B)
----config()
--------rebroproxy-5000-095625062014.txt(92KB)
--------.DS_Store(6KB)
--------config.php(996B)
--------crawl.inf.php(7KB)
--------routes.php(0B)
--------true_proxy_ip.txt(18B)
--------user-agent.txt(413KB)
----index.php(467B)
----test.php(237B)
----composer.json(97B)
----vendor()
--------autoload.php(183B)
--------composer()