heritrix3-master.zip

【文件属性】：
文件名称：heritrix3-master.zip
文件大小：2.76MB
文件格式：ZIP
更新时间：2022-12-12 05:22:04
爬虫 Heritrix是一个开源，可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑。