站点图标 吾爱分享资源软件

WordPress网站阻止特定机器人和爬虫访问的方法

stop-you-re-blocked-1

使用User Agent Blocker插件

User Agent Blocker这款插件通过修改.htaccess文件来阻止你不想要来你网站抓取的蜘蛛和爬虫。

因为是直接修改的.htaccess文件,所以对于那些不遵循robots协议的蜘蛛和爬虫来说就更加有效。

插件下载地址:

下载地址

nginx配置屏蔽方法

上面的插件是修改.htaccess文件,所以只适合apache为网站环境的网站,像奶爸建站笔记使用的是nginx,那么就可以通过下面这个方法来屏蔽。

这个方法是github上分享的,原文地址:https://github.com/mariusv/nginx-badbot-blocker

在Installation段介绍了详细的使用方法。

简单说就是在自己虚拟主机的nginx配置文件里面引入下面两个配置文件

include nginx-badbot-blocker/blacklist.conf;
include nginx-badbot-blocker/blockips.conf;

然后重启nginx服务就可以了。

退出移动版