这种统计情况看不懂了，请教一下各位

joul

流量徒增，定情一看，几乎都是facebook过来的，但本人从来没做facebook链接，感觉像是蜘蛛爬过了，从来没遇到过这种情况，请教一下各位，是否该设置robots.txt删除facebook蜘蛛呢？
4 Z% N$ `6 L1 r: \
1 r* K% o5 q: e# t) U* I' `0 \
( Y: Y$ }# X$ u
9 Z8 q) Z& \* E% b' Y

河小马

万一 fb 也在准备做搜索呢？

雷克傻死

你那个统计是可以屏蔽robots的

joul

雷克傻死 发表于 2013-9-8 21:02
你那个统计是可以屏蔽robots的

多谢，是可以屏蔽robots，但有没有必要在网站上写robots.txt，换句话说，如果spider总是在爬的话，对站点有影响吗？

scut111

肯定有影响，spider把我的wp都搞的崩溃了/before