iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

4 [. p. W, S- e0 p! N+ Kiptables -I INPUT -s 123.125.71.0/24 -j DROP

0 G0 {% G1 J) R7 R这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
1 R8 t4 z# w4 q9 v
, u, @- Z& _, c6 i8 h' O7 D应该怎么禁止百度蜘蛛来爬呢？

davidc

用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

. V) f3 w( P" b) ?% t; F我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
. j5 s5 S% x  P2 N9 T我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

' v0 r( P% I8 Q, y! Z蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

) Q* z# S* G3 j+ ?) i4 l0 p

davidc 发表于 2015-4-20 00:49
7 F; c2 v$ n* w- \. m蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
! o4 O/ t+ p. D! [0 ^" J, h9 F谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

$ m! O# _; Z2 a' A5 A  y) x那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
! K4 A, }& N) I7 I再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
: C1 B7 I7 H; Q- g4 p那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到


" m9 H! W- @0 ?- u
7 r2 z+ X( L. o( X$ t# ?/ l类似的该段ip一堆一堆的
8 B  x" Y) c- O, i
iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
' J, ^* E4 b4 x/ t$ X

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
5 \% u1 O8 z5 D/ X7 C再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
: s2 c# n2 A; `4 {/ u- ^* e是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

1 i% {/ O9 _1 A6 j$ S/ L1 Wiptables 还是很准的
1 K% l7 S/ l  p, ~& {( u5 G
我现在都是直接用csf了
6 E& R- Y6 r. V* l+ @) ^2 ]! [, ?
iptables 的命令都忘的差不多了

* ^6 u+ T: N) U" h$ H7 ]$ T9 v9 u你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的
  Z+ n- [9 @, n0 w% n7 q
1 d6 M3 n; z. T' i我现在都是直接用csf了

( s5 ]6 D; P8 m2 i+ j# g5 ~谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配