03 2021 档案
摘要:jieba import jieba Eng = open("/Users/war/Desktop/NLP/Experiment2/English.txt").read() Ch = open("/Users/war/Desktop/NLP/Experiment2/Chinese.txt").rea
阅读全文
摘要:实验思路: 对test中的每个句子,分别计算1文元法和2文元法,加入平滑,计算困惑度 1文元法——统计当前词在训练预料的频率,一个句子的概率为每个词的概率✖️起来,测试集的概率为句子✖️起来 所谓平滑: 原因,训练集里没有测试集的词 做法,就是训练集变成(训练集+测试集(去重之后),然后再正常去做
阅读全文