如何写好WordPress网站的robots.txt文件？

hardrock

robots.txt文件要放在网站根目录下，最基本的检查方法就是用你的域名后面直接跟上robots.txt访问，如果能访问，那放置的位置就对了。

找到份代码，

1. User-agent: *
   
2. Disallow: /cgi-bin/
   
3. Disallow: /wp-admin/
   
4. Disallow: /wp-content/cache/
   
5. Disallow: /wp-content/languages/
   
6. Disallow: /wp-content/plugins/
   
7. Disallow: /wp-content/themes/
   
8. Disallow: /wp-content/upgrade/
   
9. Disallow: /wp-includes/
   
10. Disallow: /comments/
    
11. Disallow: /category/
    
12. Disallow: /tag/
    
13. Disallow: /page/
    
14. Disallow: /feed/
    
15. Disallow: /author/
    
16. Disallow: /trackback/
    
17. Disallow: /2010/
    
18. Disallow: /2011/
    
19. Disallow: /2012/
    
20. Disallow: /2013/
    
21. Disallow: /*/feed/
    
22. Disallow: /*/trackback/
    
23. Disallow: /*?
    
24. Disallow: /*/*?
    
25. Disallow: /*/*/*?
    
26. Disallow: /*.php$
    
27. Disallow: /*.js$
    
28. Disallow: /*.inc$
    
29. Disallow: /*.css$
    
30. 
    
31. # Google Image
    
32. User-agent: Googlebot-Image
    
33. Disallow:
    
34. Allow: /
    
35. 
    
36. # Google AdSense
    
37. User-agent: Mediapartners-Google*
    
38. Disallow:
    
39. Allow: /
    
40. 
    
41. # digg mirror
    
42. User-agent: duggmirror
    
43. Disallow: /
    
44. 
    
45. # Alexa archiver
    
46. User-agent: ia_archiver
    
47. Disallow: /
    
48. 
    
49. Sitemap:http://www.yuhua.org/sitemap.xml
    
50. Sitemap:http://www.yuhua.org/sitemap_baidu.xml

复制代码

问题是这份代码适用于中文站用于百度，我是做英文站要适用于google, 以上代码怎样改成适用英文站的？我不懂代码，所以找人看看   
主要疑问是31----47行的代码，既然是英文站，这几行代码应该是允许的吧？中文站才禁止抓取？



WordPress官方robots.txt书写规则 http://www.guance.com/387.html
http://www.advertcn.com/forum.ph ... 75&highlight=robots
http://www.advertcn.com/forum.ph ... 81&highlight=robots



https://support.google.com/webmasters/answer/35769?hl=zh-Hans
https://developers.google.com/we ... ndex/docs/faq?csw=1  https://support.google.com/webmasters/answer/6062608?rd=1




robots.txt位置和.htaccess 文件位置http://www.thegrouplet.com/thread-115989-1-1.html
主域名作为域名做站，A.com  , 建立目录A , wordpress文件复制到/public_html/目录A/  ,  robots.txt放到/public_html/   ,  网站访问A.com/robots.txt  ,   public_html/.htaccess
add domains 绑定域名B.com指向目录B, cpanel自动建立目录B ,wordpress文件复制到/public_html/目录B/ , robots.txt放到/public_html/B/  , 网站访问B.com/robots.txt  , public_html/B/.htaccess
.htaccess文件一定和index.php同目录。

mino

User-agent: *
针对所有搜索引擎适用

你就不能自己看看吗
http://www.baidu.com/search/robots.html

hardrock

mino 发表于 2013-11-22 14:05
User-agent: *
针对所有搜索引擎适用

大哥看过了，但我不懂代码，所以找人看看

affiliater

没必要那么细致吧，这东西差不多就行了.......