一个新站，这是不是百度蜘蛛在爬

aRNoLD · 发表于 2021-4-12 13:48:04

# 屏蔽非正能量蜘蛛爬虫
if ($http_user_agent ~* (LieBaoFast|UCBrowser|Mb2345Browser|SEMrushBot|360Spider|百度之流全写这里……) ) {
return 403;
}

复制代码

我一般是这样处理这些不顺眼的蜘蛛的。

nginx代码

mha · 发表于 2021-4-12 13:44:23

流交机主球全发表于 2021-4-12 13:39
在采论坛帖子吗

没，只是截图伪装用hostloc域名

流交机主球全 · 发表于 2021-4-12 13:39:09

在采论坛帖子吗

怪人 · 发表于 2021-4-12 13:37:51

采集loc么

mha · 发表于 2021-4-12 13:36:23

柳逸寒发表于 2021-4-12 13:35
关站保平安啊老哥

为什么要关呢

柳逸寒 · 发表于 2021-4-12 13:35:32

关站保平安啊老哥

		自动登录	找回密码
密码			注册