蜘蛛爬虫

大量的蜘蛛爬虫访问会消耗服务器性能开销，更有工具类爬虫对网站进行渗透访问，给网站安全造成威胁，本文分享这些爬虫的 User-Agent 以及阻止方法。