相关搜索 >> 抓取

  • 0729C#.NET用HttpWebRequest 添加 headr 解决方法阅读(31294)条2017/7/29 11:34:14

    平时写HttpWebRequest程序抓取html时,我们经常要模拟浏览器进行数据的获取或提交,因此就必须要对http头的相关属性进行设置。但当我需要设置“Host”值的时候,比如:request.Headers.Set("Host", "86y.org");以为万事大吉了,但运行时却提示【无法直接修改标题“Host”】,无法修改!怎么办?在http头中,不仅“Host”不能设置,其他的一些属性也有无法设置的情况,比如“Connection&r...阅读全文

    Taget:net 抓取 header 

  • 0712c#net如何抓取gzip及其它页面防止乱码阅读(7759)条2014/7/12 13:21:28

    最近在做一个页面采集的过程中发现,页面抓取后乱码,而且时好时不好。然后发现编码也没有问题,原来是GZIP压缩导致的。在朋友们的热心帮助下终于解决了。下面就贴代码吧,抓取gzip及其它页面防止乱码。核心代码如下:using (HttpWebResponse response = (HttpWebResponse)req.GetResponse()) { if (response.ContentEncoding.ToLower().Contains("gzip")) { using (GZipStream stre...阅读全文

    Taget:net 抓取 采集 乱码 

  • 0716如何让搜索引擎抓取AJAX内容?阅读(6668)条2013/7/16 13:37:21

    越来越多的网站,开始采用"单页面结构"(Single-page application)。整个网站只有一张网页,采用Ajax技术,根据用户的输入,加载不同的内容。这种做法的好处是用户体验好、节省流量,缺点是AJAX内容无法被搜索引擎抓取。举例来说,你有一个网站。  http://example.com用户通过井号结构的URL,看到不同的内容。  http://example.com#1  http://example.com#2  http://example.com#3但是,搜索引擎只抓取example.com,不会理会井号,因此也就...阅读全文

    Taget:seo ajax 搜索引擎 

当前第  1  页 / 共  1  页  总共3条记录  

1