iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*
( C" I$ j. L7 K$ t  ~
& a6 }  Q' A2 A7 Iiptables -I INPUT -s 123.125.71.0/24 -j DROP

$ a% m) x+ V  y  _2 O这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
& o8 V- r; }$ t4 N6 [( b
8 M/ e) ^- c5 d& A3 i应该怎么禁止百度蜘蛛来爬呢？
, y& V" ?" r& f% q1 j% n

davidc

4 X, ^1 x# K; {/ z. }( [用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

# f5 D, E. y4 a# h- L$ f% I& c我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
4 q4 Z" `# v! v" }! K+ T% w' X+ R我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

3 l: ?* ]! |1 c$ b6 w蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

- ?1 X# Q) z4 u' q( O  j; {

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

8 v. D4 Z( a8 o- p1 z8 z8 ~# q那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
0 D* P/ y# p( A" Q6 x再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
6 v1 s) C% ^% w& A& o# X" r那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

) U( X* M- Y$ }' A3 k) ~, v
# P, T3 }/ `  b9 i/ m3 ^9 G+ V. ~- Y
% ~9 s- d) g1 J/ m9 D7 ?, b类似的该段ip一堆一堆的
- j* v# T2 }: r3 l- c* I3 V
iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
再执行一下这个命令 iptables-save 看看

; z' E( P9 m% n# \应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
3 h6 e  c$ i( a, c4 A7 I是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

2 Q1 ^# I2 p( }' y. q2 q% qiptables 还是很准的
; x+ f- p' M# ^9 ~$ I# [
8 C' R7 y) l( x我现在都是直接用csf了

# j8 J1 S. N- G' F8 siptables 的命令都忘的差不多了

& K2 V) G1 ]) _$ B你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的
7 x5 Q: T( A4 }: H) k3 C
$ d) L' ], `  G1 X' Z" i: f我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配