C#抓取网页信息程序问题

最近在写一个小程序,从指定网页上抓取信息的。但是有个网页比较特殊,无论是分页还是跳转到详情页,url都不变,看了源码,是post提交数据的,请问这样的网页要如何抓取呢

第1个回答  2016-10-14
获取POST的url,然后请求url,肯定会返回数据,返回的数据你再根据需要筛选吧。
第2个回答  2016-10-14
post也有自己的格式啊。要抓包,用fiddler试试。追问

不会用,抓取别的信息我都是用webbrowser,这种post的要抓取,难吗,有没有示例可以给我看下

追答

百度啊。

本回答被提问者和网友采纳

C#抓取网页
浏览器可以看到的内容,理论上,抓取程序也可以抓到。但很多新手在写类似代码的时候,会感觉无法抓取或者抓取的结果不一致,主要有以下几种可能:1:模拟的请求和浏览器发起的请求不一致,这里面主要包括,header里面的内容,重点关注reffer和Cookie.2:目标网站的内容呈现是通过JS来获得的 3:目标网站使用...

如何抓取网页数据、分析并且去除Html标签(C#)
第二个参数0代表第一个要解码的字节的索引,一般就从0开始;第三个参数nBytes为要解码的字节数,可以自己调整。得到了数据的字符串形式,然后可以对网页进行解析了(其实就是对字符串的各种操作和正则表达式的应用)。下面我以几个例子来说明对网页数据的解析:\/\/ 解析页面,查找链接\/\/ 此处尚需扩展,...

C#抓取网页信息程序问题
获取POST的url,然后请求url,肯定会返回数据,返回的数据你再根据需要筛选吧。

C#抓取网页后报错:内容长度或分块编码,不能为不写数据的操作设置,为 ...
你用用我写方式读取流试试:MemoryStream sp = GetMemoryStream(new GZipStream(webPo.GetResponseStream(), CompressionMode.Decompress));Encoding encoding = Encoding.Default;byte[] RawResponse = sp.ToArray();string Html = encoding.GetString(RawResponse);\/\/\/ \/\/\/ 4.0以下.net版本取数据使...

C#获取网页源代码时候返回404错误,但是浏览器缺可以正常访问该网址,怎 ...
试一试设置请求的类型,有一项设置是什么content-type的,大体意思貌似你请求的是网页的数据还是文件数据,。不行的话有可能是人家网页设置了只允许某些浏览器才能正常加载他\/她的网页喇。

我想用c# 解析网页,参照MSDN上的例子写的,抓出来是乱码,怎么解决呢...
WebClient w = new WebClient(); w.Encoding = System.Text.Encoding.UTF8; string responseBodyAsText = w.DownloadString("http:\/\/jiashengbao.com\/feiwuliyong\/suliao");

C#如何抓取网页中自己需要的文字内容
比你这个复杂的多了,呵呵 建议你搜一下HttpWebRequest,和HttpWebResponse这方面的资料 先能获取到网页的html代码才能分析 接着使用Winista.HtmlParser.dll来解析dom得到你想要的信息 如果你要解析的网页不需要登陆,可以考虑用webbrowser控件来加载网页,然后直接访问dom对象就得到你要的数据了 ...

跪求用C#语言提取网页表格中的数据方法!!在线等!!急!!!
抓取网页数据,不是一个固定的方法就能解决的.每个页面布局方式都不同.如果页面已经固定,就是读取table中的数据.你可以先indexof("<table") indexof("") 分别找到位置后.Substring(indexof("<table"),indexof("")-indexof("<table")) 用这个方法得到<table 和 中的所有字符.然后去网上...

用c# 实现网页内容抓取 返回406错误
我上个月也碰到过这个问题,我是要通过C# WINFORM实现下载文件,后面我解决了问题。重点:你要获取什么东西?是下载文件还是仅读取网页返回内容?406是不接受请求的文件。你把IIS里面改一下,改成纯文本就可以解决问题!

如何使用C#和HTMLAgilityPack抓取网页
对网站结构依赖较大,可能需要额外的处理手段。通过一个实际示例,如抓取booking.com网站的酒店信息和用户评价,我们可以看到其工作原理。通过编写相应的C#程序,它能抓取并整合酒店名称和相关评价,将数据以"hotels.csv"的形式存储,每行清晰列出了酒店名和对应评价,方便后续数据管理和分析。

相似回答
大家正在搜