摘要：
新词发现 定义 新词发现就是识别特定预料中不在字典中的词，所以新词又被称为「未登录词」，比如微博语料中的网络流行语，黑产语料中的黑话。 一般的做法是不依赖字典做无监督分词，分好的词减去已知字典，得到的就是新词。这样新词发现就被转换为分词任务，或者说是一个识别预料中的词的任务。 下面介绍几种基于统计的 阅读全文
摘要：
隐马尔可夫模型 马尔可夫性质：存在一个状态序列，未来的状态只与当前的状态相关，而不与历史状态相关 以每天的天气为例，明天的天气只与今天的天气相关，不与昨天、前天的天气相关。 马尔可夫过程：一个具备了马尔可夫性质的随机过程，与马尔可夫链的概念较像 隐马尔可夫模型：含有隐含参数的马尔可夫过程，包含两个等 阅读全文