heritrix网络爬虫

【文件属性】：
文件名称：heritrix网络爬虫
文件大小：32.26MB
文件格式：ZIP
更新时间：2021-07-19 06:57:44
网络爬虫 heritrix Heritrix是一个开源，可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。

【文件预览】：
hertrix1.14.4压缩包和源码
----heritrix-1.14.4-src.zip(10.54MB)
----Heritrix1.14.4.zip(21.72MB)