.htaccess 屏蔽垃圾蜘蛛

满意沟通 · 发表于 2012-7-20 17:34:03

本帖最后由满意沟通于 2012-9-14 17:19 编辑

很多不安robots.txt的来的
在用.htaccess 搞一下
运行出错的时候自己删掉部分排查

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} "360space|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|Collapsar" [NC]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [F=403,L]
</IfModule>

复制代码

文章来源:http://www.yilufafa.net/Linux-hosting-use-htaccess-file-to-prevent-bad-robots

西崽猪猪 · 发表于 2012-7-20 17:34:52

你把百度也屏蔽的挺垃圾的

star826 · 发表于 2012-7-20 17:35:26

提示: 作者被禁止或删除内容自动屏蔽

满意沟通 · 发表于 2012-7-20 17:36:30

西崽猪猪发表于 2012-7-20 17:34
你把百度也屏蔽的挺垃圾的

这个我可不敢哦

中文站屏蔽百度除了淘宝 ...

walkman660 · 发表于 2012-7-20 17:49:40

还是用robots.txt安全些，指定几个蜘蛛的频率，其他的一律半小时一次或者更长

满意沟通 · 发表于 2012-7-20 18:10:31

walkman660 发表于 2012-7-20 17:49
还是用robots.txt安全些，指定几个蜘蛛的频率，其他的一律半小时一次或者更长 ...

这个是对付那些不安robots.txt规则的

藐视天地 · 发表于 2012-7-20 18:50:01

好屌我看不懂

ramonde · 发表于 2012-7-20 18:59:52

做个记号,用得着

满意沟通 · 发表于 2012-7-20 19:53:11

藐视天地发表于 2012-7-20 18:50
好屌我看不懂

亲会用就好

hitsword · 发表于 2012-7-20 19:56:19

MARK

		自动登录	找回密码
密码			注册