常见错误

1.爬虫插入 mysql时报 "Incorrect string value: '\\xF0\\x9F\\x93\\x9D\\xC2\\xA0...' for column 'con的错误。

原因

Mysql的utf8编码最多3个字节，可能有4个字节的字符。utf8mb4兼容utf8，且比utf8能表示更多的字符。通常是emoji表情符号

(1)修改数据库的字符集

字符集编码修改成utf8mb4_unicode_ci  。  

如果已经创建了表，还要修改表的字符集

 

 相当于

ALTER TABLE `dbname`.`tablename` 
COLLATE = utf8mb4_unicode_ci ;

 

(2)或者考虑过去掉表情

 pip install emoji

清除命令：

emoji.demojize(str)

(3)也是过滤掉表情不用导入emoji包

def filter_emoji(desstr,restr=''):  
    try:  
        co = re.compile(u'[\U00010000-\U0010ffff]')  
    except re.error:  
        co = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')  
    return co.sub(restr, desstr)

 

我只用第二种方法，