hardrock 发表于 2013-12-27 17:41:18

robots.txt对搜索引擎收录, post属于多个Categories

本帖最后由 hardrock 于 2014-9-24 20:42 编辑

1,边学边做建站,拖的时间长,网站好多部分还没完工,如果这时被搜索引擎抓取,那肯定不好,
robots.txt设置代码禁止搜索引擎收录,待完工后再允许抓取。
我担心因为之前的禁止收录,会被搜索引擎认为不友好,完工后再允许抓取,搜索引擎却不收录了,怎么办?
ps, 有人说可以在本地PHP搭建好网站,再上传网站文件到主机空间。这样本地测试ok,可能到主机空间又会出错的。

2, 一个介绍产品post, post既属于 Categories1又属于Categories2,
会不会造成搜索引擎重复收录,这样是不是对seo不好?
是不是让一个产品属于一个Categories这样好,属于多个Categories就不好?
如果两个Categories之间是父子层级关系,这样对seo有无影响?






WordPress官方robots.txt书写规则http://www.guance.com/387.html


hardrock 发表于 2013-12-27 20:36:55

1,会不会变成这样,
之前的禁止收录,会被搜索引擎认为不友好,完工后再允许抓取,搜索引擎却不收录了

微笑君 发表于 2013-12-29 02:00:24

1、robots.txt 先是禁止抓取,后来又允许的话,Google 没有影响,baidu 的影响则很大。我有一个博客,之前修改了 rebots 阻止搜索引擎抓取所有页面,后来取消了禁止。结果是 Google 正常收录了我的网站,Baidu 是停止收录一个月左右以后又开始收录,但是只有两个页面。说明:和楼主一样是新站。
2、从 url 上来看,两个类属于从属关系的话,没有影响。但是如果两篇文章的 URL 一样的话,是有影响的。

一些愚见,如果说错的话,欢迎大家指正。

hardrock 发表于 2013-12-29 18:53:01

微笑君 发表于 2013-12-29 02:00 static/image/common/back.gif
1、robots.txt 先是禁止抓取,后来又允许的话,Google 没有影响,baidu 的影响则很大。我有一个博客,之前 ...

2, 例如,只有一产品post, 这产品即属于分类1也属于分类2, 两分类属平等关系,对seo有影响吗?

微笑君 发表于 2013-12-30 14:10:10

hardrock 发表于 2013-12-29 18:53 static/image/common/back.gif
2, 例如,只有一产品post, 这产品即属于分类1也属于分类2, 两分类属平等关系,对seo有影响吗? ...

如果一篇文章对应一个URL的话,没影响。

例如:这个帖子的地址为: http://www.example.com/category1/category2/an-article.html 则无影响,如果是
http://www.example.com/category1/an-article.html和http://www.example.com/category2/an-article.html 的话,则有 影响。

hardrock 发表于 2013-12-31 00:01:55

本帖最后由 hardrock 于 2013-12-31 00:06 编辑

微笑君 发表于 2013-12-30 14:10 static/image/common/back.gif
如果一篇文章对应一个URL的话,没影响。

例如:这个帖子的地址为: http://www.example.com/category1/ca ...
是第二种情况。
举例吧,手表吧,我按功能和品牌分两类,这种手表介绍post只有一个URL,都属于这两类中,怎样有利于seo?
用yoast wordpress seo插件把地址中category去掉,这样会不会利于seo?
页: [1]
查看完整版本: robots.txt对搜索引擎收录, post属于多个Categories