当前位置:首页 » Apache技术知识

Apache配置――禁止指定user_agent

2017-01-01 19:24 本站整理 浏览(5)

有时候去分析访问日志的时候 ,会发现很多的一些非法的访问,或者你不想让它访问的请求,比如说一些比较垃圾的蜘蛛,搜索引擎,360spidert等等,其实,我们可以把这些搜索引擎禁掉的,当你的访问量很大的时候 ,至少有一半都是这些搜索引擎的爬虫造成的,会造成服务器的负担,所以对于一些没必要的搜索引擎,我们就可以禁掉。

## 没对curl做限制之前

[root@wy ~]# curl -xlocalhost:80 www.test.com/forum.php -I

HTTP/1.1 200 OK

## 编辑配置文件,进行限制

[root@wy ~]# vim /usr/local/apache2/conf/extra/httpd-vhosts.conf

RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0.* [NC]

RewriteRule .* - [F]

解释说明:

NC表示不区分大小写

注:要想限制一些搜索引擎的标识,平时多积累。

## 检查并重新加载

[root@wy ~]# /usr/local/apache2/bin/apachectl -t

Syntax OK

[root@wy ~]# /usr/local/apache2/bin/apachectl graceful

## 测试

[root@wy ~]# curl -xlocalhost:80 www.test.com/forum.php -I

HTTP/1.1 403 Forbidden

Date: Sat, 05 Nov 2016 19:03:11 GMT

Server: Apache/2.2.16 (Unix) DAV/2 PHP/5.3.28

Content-Type: text/html; charset=iso-8859-1

## 现在我们不对curl做限制了

[root@wy ~]# vim /usr/local/apache2/conf/extra/httpd-vhosts.conf

#RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0.* [NC]

RewriteRule .* - [F]

## 检查并重新加载

[root@wy ~]# /usr/local/apache2/bin/apachectl -t

Syntax OK

[root@wy ~]# /usr/local/apache2/bin/apachectl graceful

##测试

[root@wy ~]# curl -xlocalhost:80 www.test.com/forum.php -I

HTTP/1.1 200 OK

## 用curl -A 来模拟user_agent进行测试

[root@wy ~]# curl -A "Firefox/4.0" -x192.168.219.128:80 www.test.com -I

HTTP/1.1 403 Forbidden

[root@wy ~]# curl -A "afslfsjf" -x192.168.219.128:80 www.test.com -I

HTTP/1.1 301 Moved Permanently

[root@wy ~]# curl -A "Firefox/4.0alfsjf" -x192.168.219.128:80 www.test.com -I

HTTP/1.1 403 Forbidden

本文出自 “linux” 博客,转载请与作者联系!