09 2019 档案

python去掉字符串中重复字符的方法

摘要：If order does not matter, you can use foo = "mppmt" "".join(set(foo)) set() will create a set of unique letters in the string, and "".join() will join 阅读全文

posted @ 2019-09-26 09:51 cup_leo 阅读(11809) 评论(0) 推荐(0) 编辑

centos7通过yum安装JDK1.8

posted @ 2019-09-20 15:07 cup_leo 阅读(3324) 评论(0) 推荐(0) 编辑

正则实现对一段文本同时匹配多个字符串

摘要：def asr_to_correct(text): rep = dict((re.escape(k), v) for k, v in error_asr_map.items()) pattern = re.compile("|".join(rep.keys())) text = pattern.sub(lambda m: rep[re.escape(m.group(0))], text) retu 阅读全文

posted @ 2019-09-09 11:16 cup_leo 阅读(1321) 评论(0) 推荐(0) 编辑

新词发现基于ngram方法

摘要：原文 https://spaces.ac.cn/archives/4256/comment-page-1#comments 阅读全文

posted @ 2019-09-04 15:44 cup_leo 阅读(454) 评论(0) 推荐(0) 编辑

节约内存，用一个迭代器来逐篇输出

摘要：import re import pymongo from tqdm import tqdm import hashlib db = pymongo.MongoClient().weixin.text_articles md5 = lambda s: hashlib.md5(s).hexdigest() def texts(): texts_set = set() for a in tqdm(db 阅读全文

posted @ 2019-09-04 11:14 cup_leo 阅读(285) 评论(0) 推荐(0) 编辑

【新词发现】基于SNS的文本数据挖掘、短语挖掘

摘要：互联网时代的社会语言学：基于SNS的文本数据挖掘 python实现 https://github.com/jtyoui/Jtyoui/tree/master/jtyoui/word 这是一个无监督训练文本词库与分词（转载） java实现 https://gitee.com/tyoui/jsns 这阅读全文

posted @ 2019-09-03 10:19 cup_leo 阅读(1034) 评论(0) 推荐(0) 编辑