dokku-robots.txt:为应用程序创建robots.txt,可以将其设置为允许或禁止应用程序使用网络抓取工具

时间:2024-06-05 01:45:37
【文件属性】:

文件名称:dokku-robots.txt:为应用程序创建robots.txt,可以将其设置为允许或禁止应用程序使用网络抓取工具

文件大小:16KB

文件格式:ZIP

更新时间:2024-06-05 01:45:37

Shell

dokku robots.txt 为应用程序创建 ,可以将其设置为允许或禁止对该应用程序进行网络抓取。 这对于部署您不希望被搜索引擎索引的网站很有用。 例如,您可能想部署一个允许使用机械手的生产应用程序,以及一个不允许使用机械手的临时应用程序。 要求 独库0.4.x + 安装 # on 0.4.x+ sudo dokku plugin:install https://notabug.org/candlewaster/dokku-robots.txt.git robots.txt 命令 robots.txt:disallow , Discourages web crawlers from indexing this app robots.txt:allow , Doesn't discourage web crawlers from indexing this


【文件预览】:
dokku-robots.txt-master
----commands(739B)
----LICENSE(34KB)
----README.md(963B)
----plugin.toml(94B)
----templates()
--------robots-txt.conf.sigil(76B)
--------robots.txt.sigil(51B)
----functions(2KB)
----subcommands()
--------default(429B)
--------allow(370B)
--------disallow(365B)

网友评论