c#抓取网页内容乱码的解决方案

时间:2022-11-18 15:01:47
   写过爬虫的同学都知道,这是个很常见的问题了,一般处理思路是: 使用HttpWebRequest发送请求,HttpWebResponse来接收,判断HttpWebResponse中”Content-Type”中的具体编码,再利用StreamReader 将信息流转为具体的编码就OK了。

下面提供第一种思路的一般方法:

c#抓取网页内容乱码的解决方案

这种方法基本上解决了大部分的编码问题。 之所以说基本上也是因为有一些网页,在HttpWebResponse 返回的头部中”Content-Type” 有时候不能正确的匹配到具体编码类型,这个时候就会读到乱码。

下面提供一个我使用的方法,这个方法可以正确的将页面转码: