全球主机交流论坛

标题: 如何写好WordPress网站的robots.txt文件？ [打印本页]

---

作者: hardrock    时间: 2013-11-22 14:44
标题: 如何写好WordPress网站的robots.txt文件？
robots.txt文件要放在网站根目录下，最基本的检查方法就是用你的域名后面直接跟上robots.txt访问，如果能访问，那放置的位置就对了。

找到份代码，

1. User-agent: *
   
2. Disallow: /cgi-bin/
   
3. Disallow: /wp-admin/
   
4. Disallow: /wp-content/cache/
   
5. Disallow: /wp-content/languages/
   
6. Disallow: /wp-content/plugins/
   
7. Disallow: /wp-content/themes/
   
8. Disallow: /wp-content/upgrade/
   
9. Disallow: /wp-includes/
   
10. Disallow: /comments/
    
11. Disallow: /category/
    
12. Disallow: /tag/
    
13. Disallow: /page/
    
14. Disallow: /feed/
    
15. Disallow: /author/
    
16. Disallow: /trackback/
    
17. Disallow: /2010/
    
18. Disallow: /2011/
    
19. Disallow: /2012/
    
20. Disallow: /2013/
    
21. Disallow: /*/feed/
    
22. Disallow: /*/trackback/
    
23. Disallow: /*?
    
24. Disallow: /*/*?
    
25. Disallow: /*/*/*?
    
26. Disallow: /*.php$
    
27. Disallow: /*.js$
    
28. Disallow: /*.inc$
    
29. Disallow: /*.css$
    
30. 
    
31. # Google Image
    
32. User-agent: Googlebot-Image
    
33. Disallow:
    
34. Allow: /
    
35. 
    
36. # Google AdSense
    
37. User-agent: Mediapartners-Google*
    
38. Disallow:
    
39. Allow: /
    
40. 
    
41. # digg mirror
    
42. User-agent: duggmirror
    
43. Disallow: /
    
44. 
    
45. # Alexa archiver
    
46. User-agent: ia_archiver
    
47. Disallow: /
    
48. 
    
49. Sitemap:http://www.xxx.com/sitemap.xml
    
50. Sitemap:http://www.xxx.com/sitemap_baidu.xml

复制代码

问题是这份代码适用于中文站用于百度，我是做英文站要适用于google, 以上代码怎样改成适用英文站的？
对于代码 一窍不通...

主要疑问是31----47行的代码，既然是英文站，这几行代码应该是允许的吧？中文站才禁止抓取？

---

作者: fake    时间: 2013-11-27 15:15
提示: 作者被禁止或删除 内容自动屏蔽

---

欢迎光临 全球主机交流论坛 (https://sunk.eu.org/)

Powered by Discuz! X3.4