记录golang colly爬虫编码问题
用框架colly 爬虫爬取数据,会出现 乱码问题,有时明明已经做了解码处理仍然乱码
- 原因:
- 初始化colly的时候设置了如下参数
DetectCharset=true
-
DetectCharset 的作用为检查编码,但是设置这个为true后,抓取gbk编码的数据竟然解码不了,令人十分痛苦,最后发现之前DetectCharset 的问题,将其改为false 就可以了
-
解决
colly.DetectCharset = false 或者 不设置 DetectCharset