iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

iptables -I INPUT -s 123.125.71.0/24 -j DROP
2 e5 W$ G( k6 \) s/ A+ a, u
这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
( e& _- f7 m7 e, c% k
2 U' r2 e; _- y: @3 Z应该怎么禁止百度蜘蛛来爬呢？

davidc

6 l" F) B) s" T/ t- [* {+ f; {用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
8 i) [* p. q& q! k* V  I; A6 r: v用robot.txt直接禁

3 b( x$ w( J" T7 f我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

! v% |$ T8 w) i4 x蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

) F( a, M$ R3 q6 f& h7 z3 i3 b

davidc 发表于 2015-4-20 00:49
$ ^7 D7 o. x9 [8 b. [; T蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

! e5 ?& M6 J& X1 m谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
6 ^0 f5 r+ ^' q/ d. S谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

& T8 [& R2 W+ G4 K# c! \! p那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
& T* i: U/ v8 H, Y再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
那你确定蜘蛛来自于这个段？

# l  L+ S2 c) o是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到


: y, Q% ?1 L- c# X1 v
类似的该段ip一堆一堆的
# C% Q% T" r; W& A
) U2 O# C1 A) l0 k* giptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
: Q% p) V/ W2 X3 H7 L' e4 H

123jj

sanp 发表于 2015-4-20 10:12
0 ~. l- J% |$ _5 I4 U/ a, X9 K' ~' N2 ]1 wiptables保存了没？
再执行一下这个命令 iptables-save 看看

. u* f+ N8 j" i应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
) n: k+ c  @: x3 E. M4 R% I, @是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的
0 K/ a, I4 X! q$ g* ^- }
我现在都是直接用csf了

1 n4 ?! @  M3 n0 uiptables 的命令都忘的差不多了
# s9 [9 y7 b: J
你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的
& O3 U& C; Y+ H. y; z6 S* q
我现在都是直接用csf了

) j) L$ D" P# i( p" ?, B谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
: a: \2 ]& J4 X3 n: t- h* w2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配