如何拦截伪蜘蛛、假蜘蛛
伪蜘蛛是指爬虫爬行网站时带有搜索引擎标签，但却不是真的搜索引擎IP，也称为假蜘蛛、伪爬虫、假爬虫。
伪蜘蛛有哪些危害呢？
如果只是为了采集网站数据的伪蜘蛛，并不会带来安全问题，主要消耗带宽、CPU等资源，严重时可导致网站无法正常使用。但可能产生另外一个严重后果：导致网站被降权。站群服务器都是采集其他网站数据转化为自己的数据让搜索引擎收录，再将搜索进来的用户导流到主网站。因为内容和你的相同，就会对源网站的搜索引擎排名有所影响。
如何快捷有效的拦截伪蜘蛛呢？
要有效拦截伪蜘蛛，只有一个办法：收集蜘蛛IP库，拦截不在库的蜘蛛IP。
我们可以使用《护卫神.防入侵系统》的“伪蜘蛛防护”模块轻松解决此问题。
护卫神.防入侵系统内置丰富的蜘蛛IP库；不分析网站日志，爬虫爬行时直接和蜘蛛IP库库比对，事前拦截无遗漏；自带CDN穿透功能，即使使用了CDN也不受影响； IIS/Apache/Nginx均可使用；360搜索引擎也不受影响。拦截效果如下：
原文：如何拦截伪蜘蛛、假蜘蛛