记录golang colly爬虫编码问题

用框架colly 爬虫爬取数据,会出现 乱码问题,有时明明已经做了解码处理仍然乱码

  • 原因:
    • 初始化colly的时候设置了如下参数
DetectCharset=true
  • DetectCharset 的作用为检查编码,但是设置这个为true后,抓取gbk编码的数据竟然解码不了,令人十分痛苦,最后发现之前DetectCharset 的问题,将其改为false 就可以了

  • 解决

colly.DetectCharset = false 或者 不设置 DetectCharset
posted @ 2021-08-25 20:40  frange  阅读(354)  评论(0编辑  收藏  举报