我们大多数人都听说过爬虫。 最常见的是搜索引擎爬虫，比如百度蜘蛛和谷歌蜘蛛。 有同学可能会疑惑，为什么要限制这些爬行动物呢？
事实上，我们网站上的爬虫比真正的访问者多得多。 许多站点上的真正访问者很少，但爬虫可以使服务器保持满负荷运行。
当然，我们不会阻止搜索引擎爬虫，但是当您的服务器性能不足时，您可以适当限制搜索引擎的爬行速度。 可以设置主搜索引擎的站长平台。
此外，还有很多个人或其他团体开发的爬虫，比如收藏机器人。 有些人可能会收集您的文章，而其他人可能会在您的网站上寻找漏洞。
普通防火墙基本可以识别这些爬虫。 比如Pagota面板支付插件中的防火墙扫描器就是一个常见的爬虫。
结论：禁止爬虫有利有弊。 本站不封杀，服务器性能足够。 还发现了几个收藏品。 就个人而言，这并不重要。 如果你想收集，就收集它。 大多数情况下，您会带上一个链接到您的网站。
是否禁止考虑自己。
