AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

 谷歌+Bing+TT+MSN官方代理 
⚡️按条S5代理⚡️静态⚡️独享⚡️5G⚡️最干净<Wifi住宅+5G移动>IP代理指纹浏览器,就用AdsPower
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利广告开户独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机E.PN 虚拟卡BINOM TRACKER 60% OFF!比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户百度国际MediaGo⚡️让产品狂奔全球百度国际,高点击转化,快速放量百度国际MediaGo,独家原生流量
ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款全球虚拟卡, 支持U充值
Facebook 批量上广告尤里改 - FB 稳定投放免费黑五教程(持续更新、欢迎交流)FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户(优势)⚡️个人户,bm户不限额,账单户一手BM分享户不限额9Proxy ⚡️ $0.04/IP, 无限带宽
FB二三解0.1元一个虚拟卡|PTM星际卡FB专用虚拟卡Google、Bing官方总代  联盟流量开户
FB账号资源/稳定靠谱/运行5年啦FB开户代投/三不限/白名单广告位出租 
查看: 4860|回复: 10

如果一个网站没有地图,我如何查看他所有的文章?

[复制链接]

584

主题

1935

广告币

3703

积分

金牌会员

Rank: 6Rank: 6

积分
3703
发表于 2015-4-14 18:32:19 | 显示全部楼层 |阅读模式
回复

使用道具 举报

16

主题

1100

广告币

2360

积分

高级会员

Rank: 4

积分
2360
发表于 2015-4-14 18:48:44 | 显示全部楼层
蜘蛛                          

点评

请详细说明。  详情 回复 发表于 2015-4-14 21:45
回复 支持 反对

使用道具 举报

33

主题

3317

广告币

6558

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6558

社区QQ达人

发表于 2015-4-14 20:19:01 来自手机 | 显示全部楼层
site命令

点评

是这个命令? sitemap.xml 我也是用的这个,但有的网站没有,它不起作用。  详情 回复 发表于 2015-4-14 21:43
回复 支持 反对

使用道具 举报

2

主题

1360

广告币

1722

积分

高级会员

Rank: 4

积分
1722

社区QQ达人

发表于 2015-4-14 21:14:02 | 显示全部楼层
我一般采集网的入手的方法:
- g4 p1 A3 O1 x1.robots.txt 查看是否有sitemap文件或者sitemap索引文件
, d3 z2 j" }7 M7 Y7 b2.直接获取内容列表后再获取详情页面( M5 \" D8 d) ?% s5 W# L* }
3.直接通过内容id遍例抓取
3 d" x3 X4 a: @4.通过rss订阅查找一些相对应的Id后再采集相关的内容. H% K2 {* L; }% x1 p
5.看命,是否幸运从中找到可利用的点

点评

不错  发表于 2015-4-15 08:53

评分

参与人数 1广告币 +2 收起 理由
luck + 2 我不懂你说的方法,但很感谢你!.

查看全部评分

回复 支持 反对

使用道具 举报

584

主题

1935

广告币

3703

积分

金牌会员

Rank: 6Rank: 6

积分
3703
 楼主| 发表于 2015-4-14 21:43:15 | 显示全部楼层
billy 发表于 2015-4-14 20:19
* p* q+ U7 F0 m5 O8 r- k  w: bsite命令

% A* B' A" j% T1 d. y是这个命令?
: `+ b' n& w5 ^6 R/ Vsitemap.xml
$ I1 @" \1 I& `& n( k, i我也是用的这个,但有的网站没有,它不起作用。

点评

我想看一个网站的地图,如果他没有,你怎么能看到? 用site:xxx.com 查看所有收录  详情 回复 发表于 2015-4-14 21:46
回复 支持 反对

使用道具 举报

584

主题

1935

广告币

3703

积分

金牌会员

Rank: 6Rank: 6

积分
3703
 楼主| 发表于 2015-4-14 21:45:37 | 显示全部楼层
54clz 发表于 2015-4-14 18:486 Y+ `) |7 g: ?  C
蜘蛛
0 c* @+ q3 \( n6 j3 [8 m2 v
请详细说明。                           
回复 支持 反对

使用道具 举报

33

主题

3317

广告币

6558

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6558

社区QQ达人

发表于 2015-4-14 21:46:30 | 显示全部楼层
luck 发表于 2015-4-14 21:43( E* Q" Y" [( B( i. J* [. g
是这个命令?9 ?/ H1 v; ^0 K: D9 S' O9 D  }
sitemap.xml
/ W+ B2 _$ y0 ]) @我也是用的这个,但有的网站没有,它不起作用。 ...

" O, b) j4 R- l' R5 a* W( J; r7 B我想看一个网站的地图,如果他没有,你怎么能看到?4 g0 ^; {7 i8 p5 D9 v
用site:xxx.com 查看所有收录
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2024-11-15 16:46 , Processed in 0.048293 second(s), 14 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表