我讨厌蜘蛛我讨厌蜘蛛侠

wdlth · 发表于 2013-3-4 22:30:42

Google的高并发蜘蛛才杯具

恢复自我 · 发表于 2013-3-4 22:38:53

很多小的伪装蜘蛛来采集

大胡子 · 发表于 2013-3-4 22:39:29

wdlth 发表于 2013-3-4 22:30
Google的高并发蜘蛛才杯具

用了Sitemap之后是不是一次性爬我更新的所有内容。。。

wdlth · 发表于 2013-3-4 22:42:33

大胡子发表于 2013-3-4 22:39
用了Sitemap之后是不是一次性爬我更新的所有内容。。。

不是一次性，是持续性。而且会自己生成关键字搜索……

大胡子 · 发表于 2013-3-4 22:46:40

wdlth 发表于 2013-3-4 22:42
不是一次性，是持续性。而且会自己生成关键字搜索……

我好像就被这个整苦逼。。。 iptables都不能屏蔽访问 why？

wdlth · 发表于 2013-3-4 23:00:26

本帖最后由 wdlth 于 2013-3-4 23:02 编辑

大胡子发表于 2013-3-4 22:46
我好像就被这个整苦逼。。。 iptables都不能屏蔽访问 why？

robots.txt加
Crawl-delay: 60
Visit-time: 0100-1300
Request-rate: 30/1m 0100 - 0759
Request-rate: 10/1m 0800 - 1300
有点效果

大胡子 · 发表于 2013-3-4 23:05:15

wdlth 发表于 2013-3-4 23:00
robots.txt加
Crawl-delay: 60
Visit-time: 0100-1300

霸气啊

simple · 发表于 2013-3-4 23:33:22

我大爱蜘蛛就怕蜘蛛不来

		自动登录	找回密码
密码			注册

我讨厌蜘蛛 我讨厌蜘蛛侠