Webmagic爬取网页内容时的“空格”变为“？”的问题

一、问题如下

　　1、要爬取的新闻信息里出现“ ”、“ ”等网页里的空白字符，爬取之后存入数据库时就变为“？”字样。

　　

二、分析过程

　　1、使用Webmagic爬取内容后，出现了？的字样，尝试使用replace("？","")的方式将？替换为空字符串，但是调试之后并没有解决问题。

　　2、因此，内容中的？并不是平时的问号，而是由于编码问题导致的乱码。

　　问题所在：编码乱码

三、问题解决

　　1、对字符串进行处理

news_content=new String(news_content.getBytes(),"GBK").replace('?', ' ').replace(' ', ' ');

　　其中，replace(' ', ' ')这部分，前面的引号里是全角空格。

 

__EOF__

本文作者：我命倾尘
本文链接：https://www.cnblogs.com/guobin-/p/12485804.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！