iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

iptables -I INPUT -s 123.125.71.0/24 -j DROP
* @  @+ \: m! Q- ^6 e; {
这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。
, U$ p; r5 l6 m1 |
8 `& K7 ?0 w. s应该怎么禁止百度蜘蛛来爬呢？
! S. m  T9 J2 [4 j3 g4 P

davidc

用robot.txt直接禁

123jj

davidc 发表于 2015-4-19 23:50
4 Q) E: M( G3 E; t6 g: h; [用robot.txt直接禁

我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc

123jj 发表于 2015-4-20 00:22
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj

1 E" k7 [  K$ l9 ~+ u

davidc 发表于 2015-4-20 00:49
: w  P% M! U/ ~0 k& f蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马

123jj 发表于 2015-4-20 00:57
' G& X5 e# T% ~- U" q7 s( ~0 m+ _谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对 那个ip段不起作用，而刚好那个ip ...

6 Y2 `6 P( k, K$ u) s3 e那你确定蜘蛛来自于这个段？

sanp

iptables保存了没？
6 x, l) D6 C+ p再执行一下这个命令 iptables-save 看看

123jj

河小马 发表于 2015-4-20 01:49
, w* s9 S/ \) k. {; x0 S3 z那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到
$ U& y/ V- U5 x2 k- S

" Q5 f, v; z5 w+ J
% c, P9 f; n% {. y6 \类似的该段ip一堆一堆的

iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj

sanp 发表于 2015-4-20 10:12
iptables保存了没？
, C# a/ g4 j" w& ^* w- P" y再执行一下这个命令 iptables-save 看看

& }: [% A9 J3 B4 Z$ @$ m4 g2 y1 X应该没问题，执行 iptables --list 可以看到

河小马

123jj 发表于 2015-4-20 15:36
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

6 n3 F7 u( R# d0 t/ S+ diptables 还是很准的

我现在都是直接用csf了
. V/ Z- r9 c0 ?7 u
9 c) e4 j' X% {: Xiptables 的命令都忘的差不多了

5 z2 `/ T7 ]2 Q你不彷安装个csf 来处理ban ip的问题

123jj

河小马 发表于 2015-4-20 20:13
iptables 还是很准的

* @$ [$ D/ D4 q' B" [& `我现在都是直接用csf了

谢谢，我去试试

百度蜘蛛很多ip段的吧

foxconndmd

1.IP段非123.125.71.0/24
9 X8 Z' H4 H4 p2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配