pypinyin、gensim、jieba的使用
jieba和gensim应用详解
import jieba import gensim from gensim import corpora from gensim import models from gensim import similarities l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"] a = "你今年多大了" all_doc_list = [] for doc in l1: # doc = "你的名字是什么" doc_list = [word for word in jieba.cut_for_search(doc)] all_doc_list.append(doc_list) # all_doc_list = [['你', '的', '名字', '是', '什么'], ['你', '今年', '几岁', '了'], ['你', '有', '多', '高', '你', '胸多大'], ['你', '胸多大']] print(all_doc_list) doc_test_list = [word for word in jieba.cut_for_search(a)] # doc_test_list = [你，今年，多，大，了] # 制作语料库 dictionary = corpora.Dictionary(all_doc_list) # 制作词袋 not 磁带 #{'你':1,"的":2,"名字":3} # 词袋的理解 # 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典 # 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11} # 至于它是做什么用的,带着问题往下看 # dictionary 词袋 # dictionary = {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11} print("token2id", dictionary.token2id) print("dictionary", dictionary, type(dictionary)) corpus = [dictionary.doc2bow(doc) for doc in all_doc_list] # doc = ['你', '的', '名字', '是', '什么'] ['你', '今年', '几岁', '了'] # doc2bow(doc) -- 14230 -- 1675 # corpus = [14230,1675] # 语料库: # 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配 # 得到一个匹配后的结果,例如['你', '今年', '几岁', '了'] # 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)] # 1代表的的是 你 1代表出现一次, 5代表的是 了 1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁 print("corpus", corpus, type(corpus)) # 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec doc_test_vec = dictionary.doc2bow(doc_test_list) # [你，今年，多，大，了] - 1685 # doc = ['你', '的', '名字', '是', '什么'] ['你', '今年', '几岁', '了'] # doc2bow(doc) -- 14230 -- 1675 # [(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)] # [(1, 2), (8, 1), (9, 1), (10, 1), (11, 1)] # 你有多高你胸多大 print("doc_test_vec", doc_test_vec, type(doc_test_vec)) # 将corpus语料库(初识语料库) 使用Lsi模型进行训练 lsi = models.LsiModel(corpus) # (6,6) #[(5,5),(3,3),(6,7),(7,9),(4,5)] # 条件 正方形 #[100,100,0,0,0] # 条件 正方形 80 边长+-1 20 #[100,98,20,16,18] # 条件 矩形 20 边长+-1 20 长宽 +-1 20 正矩形 40 #[40+20+18+20,40+20+16+20,0+18+19+20] #[98,96,57] # 这里的只是需要学习Lsi模型来了解的,这里不做阐述 print("lsi", lsi, type(lsi)) # 语料库corpus的训练结果 print("lsi[corpus]", lsi[corpus]) # 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 print("lsi[doc_test_vec]", lsi[doc_test_vec]) # 文本相似度 # 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值 index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys())) print("index", index, type(index)) # 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算 # lsi[doc_test_vec] 用户输入 通过lsi模型转换出来的 向量表示(数字) sim = index[lsi[doc_test_vec]] print("sim", sim, type(sim)) # 对下标和相似度结果进行一个排序,拿出相似度最高的结果 # cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True) cc = sorted(enumerate(sim), key=lambda item: -item[1]) print(cc) text = l1[cc[0][0]] print(a,text)
jieba详解
import jieba a = "查看A1井压力" jieba.add_word("A1井") res_search = list(jieba.cut_for_search(a)) print(res_search)
pypinyin详解
from pypinyin import lazy_pinyin,TONE2,TONE3,TONE c = "音乐" text = lazy_pinyin(c,style=TONE) print(text)
import jieba import gensim from gensim import corpora from gensim import models from gensim import similarities from setting import MONGODB l1 = list(MONGODB.content.find()) all_doc_list = [] for doc in l1: # doc = "你的名字是什么" doc_list = [word for word in jieba.cut_for_search(doc.get("title"))] all_doc_list.append(doc_list) dictionary = corpora.Dictionary(all_doc_list) corpus = [dictionary.doc2bow(doc) for doc in all_doc_list] lsi = models.LsiModel(corpus) index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys())) def my_xishujuzhenxiangsidu(a): doc_test_list = [word for word in jieba.cut_for_search(a)] doc_test_vec = dictionary.doc2bow(doc_test_list) sim = index[lsi[doc_test_vec]] cc = sorted(enumerate(sim), key=lambda item: -item[1]) if cc[0][1] >= 0.75: text = l1[cc[0][0]] else: text = None return text
from pypinyin import lazy_pinyin,TONE2 def my_nlp_lowB(text,uid): py_text = "".join(lazy_pinyin(text,style=TONE2)) if "发消息" in text: toy_info = MONGODB.toys.find_one({"_id":ObjectId(uid)}) for friend in toy_info.get("friend_list"): py_nick = "".join(lazy_pinyin(friend.get("friend_nick"),style=TONE2)) py_remark = "".join(lazy_pinyin(friend.get("friend_remark"),style=TONE2)) if py_nick in py_text or py_remark in py_text: filename = text2audio(f"可以给{friend.get('friend_remark')}发消息了") return {"from_user":friend.get("friend_id"),"chat":filename,"friend_type":friend.get('friend_type')} if "查看" in text or "显示" in text or "多少" in text : content = my_xishujuzhenxiangsidu(text) #0.8000004043579101562 # content = low(text) # 6.9823994636535645 if content: return {"from_user": "ai", "music": content.get("music")} res = to_tuling(text,uid) filename = text2audio(res) return {"from_user": "ai", "chat": filename}
