在 robots.txt 中，您可以指定对索引文件夹、文件、脚本、utm 标签的完全或选择性禁止，这可以是单个搜索蜘蛛和所有系统的机器人的命令。
如何隐藏其他信息
资料来源：shutterstock.com
索引禁止：
文件 阿曼号码数据 类型 用户代理：*
不允许：/*.webp
文件夹
用户代理：*
不允许：/images/
文件夹中除一个文件外
用户代理：*
禁止：/images/
允许：file.webp
脚本
用户代理：*
不允许：/plugins/*.js
utm 标签
用户代理：*
不允许：*utm=
Yandex 的 utm 标签
清洁参数：utm_source&utm_medium&utm_campaign
如何使用元标记关闭网站索引
robots 元标记可作为同名文本文件的替代。它写在Web资源的源代码中（在index.html文件中），并放在<head>容器中。有必要明确哪些人不允许对网站进行索引。如果禁令是一般性的，则输入机器人；如果仅拒绝一个爬虫进入，则必须指定其名称（Google - Googlebot，Yandex - Yandex）。
记录元标记有两种选项。
第一的：
<metaname=”robots” content=”noindex, nofollow”/>
第二：
<meta name=”robots” content=”none”/>
“content”属性可以使用以下值：
none — 禁止索引（包括noindex和nofollow）；
noindex — 禁止索引内容；
nofollow-禁止索引链接；
关注-索引链接的权限；
索引——启用内容索引；
全部——允许索引内容和链接。
对于不同的情况，必须使用值的组合。例如，当禁用内容索引时，您需要允许机器人索引链接：content =”noindex，follow”。
如何使用元标记关闭网站索引
资料来源：shutterstock.com
通过元标记关闭搜索引擎的网站，网站所有者无需在根目录创建 robots.txt。
重要的是要记住，在索引问题上，很大程度上取决于蜘蛛的“礼貌”。如果他“彬彬有礼”，那么主人制定的规则就会适用。但一般来说，robots指令（包括文件和元标记）的有效性并不意味着100％遵守它们。即使对于搜索引擎来说，也并非所有的禁令都是铁板钉钉的，更不用说各种内容窃贼了。它们的最初设立是为了绕过所有禁令。
也讀吧！
“Robots.txt 检查：常见错误及其解决方法”
阅读更多
此外，并非所有爬虫都对内容感兴趣。对于某些人来说，只有链接是重要的；对于其他人来说，微标记、其他人检查网站的镜像副本等是重要的。同时，系统蜘蛛不会像病毒一样在网站内爬行，而是远程请求必要的页面。因此，它们通常不会给资源所有者带来任何问题。但是，如果机器人在设计时出现错误，或者出现一些外部非标准情况，爬虫可能会对索引门户造成很大的负载。