iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*
' I6 e0 P; @0 w- w* f
$ N7 o0 j6 R; k6 ]iptables -I INPUT -s 123.125.71.0/24 -j DROP
& P7 U: r% G' v4 M/ z9 `" H
$ b' h2 N- ?; ^9 `6 A) ?- T这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
7 n9 U, B2 b, L+ U. ^! w
应该怎么禁止百度蜘蛛来爬呢？
- W% k) p- s' |/ @

davidc

9 I! I9 E  V. E3 {$ x4 o用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
用robot.txt直接禁

' V9 @9 E0 M! C: d5 N我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

- v+ E8 g. t& T; y蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

' v# @+ T  }! d3 z, t/ u

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
0 G! K* ]. ]( [8 \4 h6 B8 w谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
+ X" l7 j) r7 T) y那你确定蜘蛛来自于这个段？

: f9 P, j; m0 v+ N. a* A% t是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
! f2 h' Z6 b. V  R5 V8 p* G/ j2 J

7 C$ x$ x" V3 B5 N- b5 Y  v* k
& ?' q" g, t7 b0 \9 g( q* o类似的该段ip一堆一堆的
2 `+ o2 K& ~5 a+ p* u, A7 N! n
" \5 B1 h8 ]" u8 \, R, Yiptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
# W) h, \$ h4 \# f: s5 a再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
5 F, T8 x+ N0 e4 p是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的

我现在都是直接用csf了

iptables 的命令都忘的差不多了
/ w" `2 A( X# p& T6 [1 m1 w, f
你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的

我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
4 u8 [, k( O( l' f2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配