python 快速替换csv数据集字符串列表中的表情符号为空，asyncio，re，pandas

 

传统的字符串列表替换字符串使用遍历非常慢

比如下面这段代码，如果处理几十万或上百万的数据集时，会非常的慢，几小时几天都可能

import re

p = re.compile(u'['u'\U0001F300-\U0001F64F' u'\U0001F680-\U0001F6FF' u'\u2600-\u2B55 \U00010000-\U0010ffff]+')
# text = "超详细修高鼻梁教程，点❤️收藏慢慢看#美妆 #使用一次你就喜欢"
# txt = re.sub(p,'',text) # 正则匹配，将表情符合替换为空''
# print(txt)

bar = tqdm(enumerate(data['text']),total=len(data['text']))
for idx,text in bar:
data['text'][idx] = re.sub(p,'',text)

data

　　

如何加速，使用异步携程加速，同时创建多个携程，使用多个携程同时处理字符串，有个对比，66w的数据只需不到1分钟即可处理完

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

import re import pandas as pd import asyncio   async def replace_emoji(text):     # 表情的Unicode编码范围     emoji_pattern = re.compile("[\U0001F600-\U0001F64F\U0001F300-\U0001F5FF\U0001F680-\U0001F6FF\U0001F1E0-\U0001F1FF]", flags=re.UNICODE)     # 替换表情为空     new_text = emoji_pattern.sub('', text)     return new_text   async def main():     # 读取CSV文件     df = pd.read_csv('file.csv')     # 创建一个事件循环     loop = asyncio.get_event_loop()     # 异步替换所有文本中的表情     replaced_text = await asyncio.gather(*[loop.create_task(replace_emoji(text)) for text in df['text']])     # 将替换后的文本保存回CSV文件的text列     df['text'] = replaced_text     df.to_csv('file.csv', index=False)   # 运行主程序 asyncio.run(main())