摘要：
天地连站群可以根据用户输入的初始关键词，获取该关键词搜索引擎的搜索结果，然后逐条获取这些相关文章的内容。这样就需要面对无数网页的各种编码。为了解决这个问题，引入了下面的解决办法：在引入编码自动识别前，我们有两种途径获取网页的编码信息：其一、通过服务器返回的header里的charset变量获取其二、通过页面里的meta 信息获取正常情况下，如果服务器或者页面有提供这两个参数，而且参数是正确的，那我们抓取网页时就不存在编码的问题了。但是现实总是会难为我们这些程序员，抓取网页时，经常会出现以下几种情况：1.这两个参数缺失了2.这两个参数虽然都提供了，但是不一致3.这两个参数提供了，但是与网页实际的 阅读全文
2012年11月19日 #