【文件属性】：
文件名称：Robots.io:Robots.txt解析库-开源
文件大小：285KB
文件格式：JAR
更新时间：2021-05-15 10:23:02
开源软件
Robots.io是一个Java库，旨在简化网站“ robots.txt”文件的解析。 RobotsParser类提供了使用robots.io的所有功能。 传递给RobotsParser的域被规范化为始终以正斜杠结尾。 不允许的路径绝不会以正斜杠开头。 这样一来，URL即可轻松构建。