joul 发表于 2013-9-8 17:11:34

这种统计情况看不懂了，请教一下各位

流量徒增，定情一看，几乎都是facebook过来的，但本人从来没做facebook链接，感觉像是蜘蛛爬过了，从来没遇到过这种情况，请教一下各位，是否该设置robots.txt删除facebook蜘蛛呢？



河小马 发表于 2013-9-8 20:23:14

万一 fb 也在准备做搜索呢？

雷克傻死 发表于 2013-9-8 21:02:57

你那个统计是可以屏蔽robots的

joul 发表于 2013-9-9 11:37:37

雷克傻死 发表于 2013-9-8 21:02 static/image/common/back.gif
你那个统计是可以屏蔽robots的

多谢，是可以屏蔽robots，但有没有必要在网站上写robots.txt，换句话说，如果spider总是在爬的话，对站点有影响吗？

scut111 发表于 2013-9-9 12:10:56

肯定有影响，spider把我的wp都搞的崩溃了/before
页: [1]
查看完整版本: 这种统计情况看不懂了，请教一下各位