如果一个网站没有地图，我如何查看他所有的文章？

luck

换个说法是，我想看一个网站的地图，如果他没有，我还有其它的方法吗？
. H3 U; V  [! M0 U# g  e6 E5 `2 h 谢谢！
& i3 v& D" r- \5 c& n
/ Q4 I1 Z/ B# h8 J  M& r

54clz

蜘蛛                          

billy

site命令

李小冲

我一般采集网的入手的方法：
  V% K8 ?/ E' ^1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
0 v: e! @" n0 G" e2.直接获取内容列表后再获取详情页面
3.直接通过内容id遍例抓取
4.通过rss订阅查找一些相对应的Id后再采集相关的内容
& U* U( I7 |! J. L' D! ~, t5.看命，是否幸运从中找到可利用的点

luck

billy 发表于 2015-4-14 20:19
site命令

, ^3 b5 U, i6 G, h7 U/ Z3 T1 z1 o是这个命令？
. @5 c7 N3 l2 b* ?: {- \2 a; ysitemap.xml
& X* U# v  y  h. _我也是用的这个，但有的网站没有，它不起作用。

luck

54clz 发表于 2015-4-14 18:48
, I. ^: r% ~( M% t( x蜘蛛

请详细说明。                           

billy

luck 发表于 2015-4-14 21:43
! d" Y9 _5 M- @6 \* s1 ~/ F& J是这个命令？
0 R+ L- M3 b1 A8 R) Q8 ~& k+ dsitemap.xml
% u' @/ k9 O. K0 O5 @- m6 ]我也是用的这个，但有的网站没有，它不起作用。 ...

# I* U8 l( X# v我想看一个网站的地图，如果他没有，你怎么能看到？
用site:xxx.com 查看所有收录