要不要写 robots.txt

cdm · 发表于 2013-1-11 09:07:31

提示: 作者被禁止或删除内容自动屏蔽

im286 · 发表于 2013-1-12 16:58:22

hzqim · 发表于 2013-1-12 16:39:50

好强大，不明觉历。

wormcy · 发表于 2013-1-11 11:55:47

正经做站的要写
要不就放个空白文件总比没有强

cdm · 发表于 2013-1-11 09:47:28

提示: 作者被禁止或删除内容自动屏蔽

过客 · 发表于 2013-1-11 09:41:52

cdm 发表于 2013-1-11 09:24
亲，哪个页面404了？

http://www.imgtitle.com/robots.txt

404 · 发表于 2013-1-11 09:40:25

看豆瓣的这个
http://www.douban.com/robots.txt
尤其要看两个sitemap

搞好这个，别去管什么野鸡跳大神的SEO了

一灰 · 发表于 2013-1-11 09:39:04

User-agent: *
Disallow: /

cdm · 发表于 2013-1-11 09:24:39

提示: 作者被禁止或删除内容自动屏蔽

过客 · 发表于 2013-1-11 09:21:51

404

It looks like you found a Dead Link

Page not found

www.imgtitle.com

		自动登录	找回密码
密码			注册

cdm cdm 当前离线积分 5637	电梯直达 1^# 发表于 2013-1-11 09:07:31 \| 只看该作者 \|正序浏览 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽
cdm cdm 当前离线积分 5637	分享到: QQ好友和群 QQ空间收藏0 相关帖子 • kkkkkkkkkkkkkkkkkkkkkkkkk • 【已出】一个NC的0.98优惠码 5块有要的么？ • 谁还有阿里大话的源码 • DA天天这样的没事吧？该怎么处理？ • T楼贴现在还在回复的都是在用软件顶啊~~早都完了，还在顶 • 万能的LOC啊，请教个有效的防注册机办法 • 妈的,垃圾VPS • nc的域名你们是注册什么后缀的 • LOC真是训练T楼的好地方啊 • 那个DA破介思路和方法的帖子在哪里？
	回复举报

cdm cdm 当前离线积分 5637	9^# 楼主\| 发表于 2013-1-11 09:47:28 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
cdm cdm 当前离线积分 5637
	回复支持反对举报

cdm cdm 当前离线积分 5637	5^# 楼主\| 发表于 2013-1-11 09:24:39 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
cdm cdm 当前离线积分 5637
	回复支持反对举报