iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

* p' p0 O# b: F% o6 Y# h  eiptables -I INPUT -s 123.125.71.0/24 -j DROP

这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

# V" {3 E$ T& a& ~应该怎么禁止百度蜘蛛来爬呢？
7 ~  K+ p6 C( \7 @9 _4 ~! Y

davidc

用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
0 e5 v" p3 _" ]( f. L用robot.txt直接禁

9 `6 G0 Y7 B4 g# Q4 q! A: I7 f我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
8 \8 B$ Z* h: H" Q我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

0 U- \" F" S4 J1 L6 u蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

davidc 发表于 2015-4-20 00:49
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

1 w: R  m/ t$ h9 g# M谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
: c& z" h4 y  ~# q* N谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

: Z7 p5 r/ D+ `9 v4 |/ M% W6 l那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
- S2 E2 u3 r4 B. o% d) x再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
, R( V) ?# f+ Z2 ^2 `那你确定蜘蛛来自于这个段？

6 N* d9 V( N0 h6 n3 e* M3 S/ h是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到



: r$ g9 s$ U7 T, g( {  D* U' |类似的该段ip一堆一堆的

iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方
) \! L6 e: p% a

123jj

sanp 发表于 2015-4-20 10:12
' N+ c- Y) Y, |( r: r5 t$ W$ ^* V+ wiptables保存了没？
再执行一下这个命令 iptables-save 看看

; _" }& W& w' o8 s$ m应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
+ i" a( `% Q% @! m5 Q! l) w# \是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的
$ H4 y. S7 V* _' g# Q, y. b( f+ v
我现在都是直接用csf了
  p7 u( z* D" g( P. W( P1 D
$ F! i/ Z$ x7 B) fiptables 的命令都忘的差不多了
  u. q) l1 }/ o
你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
& V5 o: {+ t& K5 j8 }& Miptables 还是很准的

我现在都是直接用csf了

: k! e" P, W2 l' e3 Y' h0 a0 P8 b! K谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
* D8 |0 C; T- a6 }9 }2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配