全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 3041|回复: 16
打印 上一主题 下一主题

.htaccess 屏蔽垃圾蜘蛛

[复制链接]
跳转到指定楼层
1#
发表于 2012-7-20 17:34:03 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 满意沟通 于 2012-9-14 17:19 编辑

很多不安robots.txt的来的
在用.htaccess 搞一下
运行出错的时候自己删掉部分 排查
  1. <IfModule mod_rewrite.c>
  2.         RewriteEngine on
  3.         RewriteCond %{HTTP_USER_AGENT} "360space|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|Collapsar" [NC]
  4.         RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [F=403,L]

  5. </IfModule>
复制代码
文章来源:http://www.yilufafa.net/Linux-hosting-use-htaccess-file-to-prevent-bad-robots

评分

参与人数 2威望 +35 收起 理由
小夜 + 20 赞一个!
ihack520 + 15 很好

查看全部评分

2#
发表于 2012-7-20 17:34:52 | 只看该作者
你把百度也屏蔽的挺垃圾的
3#
发表于 2012-7-20 17:35:26 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
4#
 楼主| 发表于 2012-7-20 17:36:30 | 只看该作者
西崽猪猪 发表于 2012-7-20 17:34
你把百度也屏蔽的挺垃圾的

这个我可不敢哦

中文站 屏蔽百度 除了淘宝 ...
5#
发表于 2012-7-20 17:49:40 | 只看该作者
还是用robots.txt安全些,指定几个蜘蛛的频率,其他的一律半小时一次或者更长
6#
 楼主| 发表于 2012-7-20 18:10:31 | 只看该作者
walkman660 发表于 2012-7-20 17:49
还是用robots.txt安全些,指定几个蜘蛛的频率,其他的一律半小时一次或者更长 ...

这个是对付那些不安robots.txt规则的
7#
发表于 2012-7-20 18:50:01 | 只看该作者
好屌 我看不懂
8#
发表于 2012-7-20 18:59:52 来自手机 | 只看该作者
做个记号,用得着
9#
 楼主| 发表于 2012-7-20 19:53:11 | 只看该作者
藐视天地 发表于 2012-7-20 18:50
好屌 我看不懂

亲 会用就好
10#
发表于 2012-7-20 19:56:19 | 只看该作者
MARK
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-11-6 13:11 , Processed in 0.119053 second(s), 17 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表