全球主机交流论坛

标题: 要不要写 robots.txt [打印本页]

作者: cdm 时间: 2013-1-11 09:07
提示: 作者被禁止或删除内容自动屏蔽

作者: nacv 时间: 2013-1-11 09:09
自己阅读指南

作者: Ruclinux 时间: 2013-1-11 09:20
学习

作者: 过客 时间: 2013-1-11 09:21
404

It looks like you found a Dead Link

Page not found

www.imgtitle.com

作者: cdm 时间: 2013-1-11 09:24
提示: 作者被禁止或删除内容自动屏蔽

作者: 一灰 时间: 2013-1-11 09:39
User-agent: *
Disallow: /

作者: 404 时间: 2013-1-11 09:40
看豆瓣的这个
http://www.douban.com/robots.txt
尤其要看两个sitemap

搞好这个，别去管什么野鸡跳大神的SEO了

作者: 过客 时间: 2013-1-11 09:41

cdm 发表于 2013-1-11 09:24
亲，哪个页面404了？

http://www.imgtitle.com/robots.txt

作者: cdm 时间: 2013-1-11 09:47
提示: 作者被禁止或删除内容自动屏蔽

作者: wormcy 时间: 2013-1-11 11:55
正经做站的要写
要不就放个空白文件总比没有强

作者: hzqim 时间: 2013-1-12 16:39
好强大，不明觉历。

作者: im286 时间: 2013-1-12 16:58

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)