在知道域名的情况下，有没有可能采集这个网站所有的网页

白龙君

4 K! r1 U1 p, Q  H  ~; _; |
额。。。找到一个放LP的域名，想SPY一下域名下可能存放的其他LP
% Z# M3 U0 n8 \0 g
* N5 ^$ E7 l; N& Tsite高级搜索命令啥也搜索不到。。。火车采集好像也不行啊。。。
8 P9 u5 A+ e; {2 Z  E5 `
1 _" i7 U$ @' @" o# b8 J已知url格式是这样的 http://domain.com/lp/test/?s=27566552

akzovk

如果相互有链接，或sitemap之类，肯定没问题。过滤其它信息，只要页面上有链接存在，就访问并保存，类似写个爬虫……如果没内链，我想不出来有什么办法能发现其它网页

spian2008

如果他们之间有互链的就可以。如果没有就没有办法了。

tmdsoft

要是我，我肯定把LP 隐藏的很深 。。不会轻易让你猜到的，用爬虫也无力，只能碰碰运气了。

白龙君

akzovk 发表于 2014-8-17 01:37
如果相互有链接，或sitemap之类，肯定没问题。过滤其它信息，只要页面上有链接存在，就访问并保存，类似写 ...

! q3 y# ]5 h* @0 S7 F. R* f已知url格式是这样的 http://domain.com/lp/test/?s=27566552

我昨天尝试用火车头从s=1采集，不过貌似不行啊。。。

白龙君

malong101 发表于 2014-8-17 04:22
, _8 s* @5 S9 h不知道其他文件名 就没法弄了 除非黑了他

' @3 J' d. `6 w- D* F已知url格式是这样的 http://domain.com/lp/test/?s=27566552

白龙君

tmdsoft 发表于 2014-8-17 15:00
要是我，我肯定把LP 隐藏的很深 。。不会轻易让你猜到的，用爬虫也无力，只能碰碰运气了。 ...

& ?5 L- ^0 Q' W8 v0 n: F& S已知url格式是这样的 http://domain.com/lp/test/?s=27566552
! `/ J1 Y3 [' K) l/ @  b7 |
# m+ g; o- Y5 }" d2 c5 r' n其实我是先找到他的一个LP，像看看他域名写下有没有其他LP

阿百川

白龙君 发表于 2014-8-17 16:29
" c1 ]8 [$ F6 @3 u8 ?0 k2 v- J/ b+ D* M已知url格式是这样的 http://domain.com/lp/test/?s=27566552
& Y1 j7 z! r) K3 k* a
其实我是先找到他的一个LP，像看看他域名 ...

暴力猜解s参数

akzovk

白龙君 发表于 2014-8-17 16:23
已知url格式是这样的 http://domain.com/lp/test/?s=27566552
* {& U' I+ s# W5 P
我昨天尝试用火车头从s=1采集，不过貌似不 ...

8 \# T0 t3 y$ J7 l+ N8 K如果你确定test这个是不变的话，那很好办好啊，就循环采集就好了啊

fatiery

我的第一个想法是到搜索引擎去看下是否被收录
6 v3 c. V4 M# Q* L6 |+ V, r

1. inurl:http://domain.com/lp/test/?s=

复制代码

6 s5 t5 w6 k8 J3 d/ b# y如果没有就只能暴力猜解，暴力猜解最好自己写工具，执行效率要高，多线程。反正火车头什么的效率太低，不知道要猜解到什么时候。

白龙君

akzovk 发表于 2014-8-17 21:49
如果你确定test这个是不变的话，那很好办好啊，就循环采集就好了啊

$ J  W( Q: r; r& l/ x  C 貌似是不变的。。。我又找到了一个

白龙君

fatiery 发表于 2014-8-17 21:50
7 n% t$ x+ q" O6 D9 j. Y我的第一个想法是到搜索引擎去看下是否被收录
. ^0 {7 S3 l6 c" P& w
如果没有就只能暴力猜解，暴力猜解最好自己写工具，执行效率 ...

6 Y4 }3 d( z$ C# L 高手啊。。。。暂时还没有写采集工具的能力

bobrey

最简单迅雷下载，【1】～【xxxxxx】来自: iPhone客户端

cdwyd

如果有內链就没有任何问题，如果没有的话，自能去猜参数暴力的了