如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
谢谢！
7 d+ A; [: @9 }* l* e! ~+ C& G- p
# {8 @9 O* m8 |2 [) p; E+ _

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
2.直接获取内容列表后再获取详情页面
0 |2 D3 {9 }8 `3.直接通过内容id遍例抓取
4.通过rss订阅查找一些相对应的Id后再采集相关的内容
5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
% C: r* P. a0 dsite命令

: x) R- x$ k6 j9 `是这个命令？
: E6 o; p- ]( R* ^* ^sitemap.xml
3 C: U1 }) R/ z% T我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
; j  r1 y$ v. K8 @: [蜘蛛

, u. r$ V% ^6 @; A8 R8 B  C" Z请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
; @" P, O# {, @9 ^. h9 S是这个命令？
4 f( L# j5 j1 B5 xsitemap.xml
. S: ]* v# t. t* B我也是用的这个，但有的网站没有，它不起作用。 ...

9 k5 _# [% B$ B我想看一个网站的地图，如果他没有，你怎么能看到？
用site:xxx.com 查看所有收录