请教一个网页元素抓取编程问题

zghz · 发表于 2013-8-2 11:14:15

我想写一个软件，想实现以下功能：

1采集网页上的某些元素
2自动把采集来的一些关键词提交到谷歌关键词工具查询并采集结果
3自动把一些文件上传到某些网站，可能需要设置代理，有可能的话需要输入验证码。

打算用C#来写，请问实现这些功能主要是不是调用webkit这类的浏览器内核来实现呢？

yincthh · 发表于 2013-8-2 11:39:47

selenium2

beijixing · 发表于 2013-8-2 11:51:42

搜索web自动化测试工具

zghz · 发表于 2013-8-2 13:06:54

yincthh 发表于 2013-8-2 11:39
selenium2

非常感谢！

zghz · 发表于 2013-8-2 13:10:01

beijixing 发表于 2013-8-2 11:51
搜索web自动化测试工具

非常感谢！

joul · 发表于 2013-8-2 18:51:27

本帖最后由 joul 于 2013-8-2 18:52 编辑

分析网页元素，如果想自己灵活控制，可以用HtmlAgilityPacK

潜水大帝 · 发表于 2013-8-2 22:48:46

C#的话感觉用HTTP + DOM 灵活些。

bobrey · 发表于 2013-8-4 11:24:09

C#可以直接调用系统的IE 控件哦，然后根据dom控制赋值和点击等操作哦

bjzhush · 发表于 2013-8-23 12:21:48

我以PHP为例来回答你的问题
1.采集可以用一些采集类，支持模拟UA，获取和保存cookie，redirect这些就差不多了，比如PHP的curl
2.这个应该是解析页面，同理有对应的类
3.代理C#肯定是支持的，验证码如果可以自己识别当然更简单，不能识别可以找一些验证码平台来调用（可能收费）

TMM · 发表于 2013-8-28 22:35:34

高手在民间啊

		自动登录	找回密码
密码			立即注册

谷歌+Bing+TT+MSN官方代理	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	⚡️最干净<Wifi住宅+5G移动>IP代理	指纹浏览器，就用AdsPower
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利广告开户	独立站⚡️开户投放
DuoPlus专注打造跨境电商云手机	E.PN 虚拟卡	BINOM TRACKER 60% OFF!	比Adplexity还好用的Spy工具
MediaGo+Taboola+Ob开户	百度国际MediaGo⚡️让产品狂奔全球	百度国际，高点击转化，快速放量	百度国际MediaGo，独家原生流量
ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款	全球虚拟卡, 支持U充值
Facebook 批量上广告	尤里改 - FB 稳定投放	免费黑五教程（持续更新、欢迎交流）	FB 三不限源头 - 自助下户充值转款
各种主页、账单户、BM户（优势）	⚡️个人户，bm户不限额，账单户	一手BM分享户不限额	9Proxy ⚡️ $0.04/IP, 无限带宽
FB二三解0.1元一个	虚拟卡\|PTM星际卡	FB专用虚拟卡	Google、Bing官方总代联盟流量开户
fb耐用号0.01一个	fb账号官方合作商	搜索套利开户❤️Bigo/Kwai/Mediago	FB资源，账单户，分享户，国内一手
广告位出租

请教一个网页元素抓取编程问题

评分

评分

社区QQ达人