心晴 发表于 2015-8-24 19:06:59

如何屏蔽Ahrefs抓取外链呢？

我不想别人用ahrefs，moz, majestic来查询我的外链，如何屏蔽呢？谢谢。。

929156761 发表于 2015-11-16 09:56:13

robots你屏蔽只能屏蔽蜘蛛抓取你的网站，但是屏蔽不了她们的蜘蛛抓取别人的网站，也就是你发外链的那些网站,robots是解决不了的

luck 发表于 2015-8-24 20:29:09

帮顶一下，记得我也问过这个问题，但没有解决。

c76y 发表于 2015-8-24 20:43:16

屏蔽他们的蜘蛛
具体的自己再找找吧

seanhere 发表于 2015-8-24 22:44:49

c76y 发表于 2015-8-24 20:43
屏蔽他们的蜘蛛
具体的自己再找找吧

+1收集它们的bot user-agent, 在nginx中设置屏蔽，或者直用PHP代码屏蔽，不过有的bot的user-agent模拟普通浏览器就没辙了

wxmd 发表于 2015-8-25 11:39:00

这个是很难真正屏蔽掉的

心晴 发表于 2015-8-25 14:44:27

c76y 发表于 2015-8-24 20:43
屏蔽他们的蜘蛛
具体的自己再找找吧

嗯，我找到了些ROBOT的设置。不知道可行不

心晴 发表于 2015-8-25 14:44:59

seanhere 发表于 2015-8-24 22:44
+1收集它们的bot user-agent, 在nginx中设置屏蔽，或者直用PHP代码屏蔽，不过有的bot的user-agent模拟 ...

ROBOT的设置，不过听老外说，屏蔽不了

心晴 发表于 2015-8-25 15:16:25

wxmd 发表于 2015-8-25 11:39
这个是很难真正屏蔽掉的

嗯，且行且看吧

残缺的人生 发表于 2015-11-15 13:26:31

学习学习
页: [1]
查看完整版本: 如何屏蔽Ahrefs抓取外链呢？