花阴偷移

摘要： 一.概述 Ngram是一种基于统计语言模型的算法。Ngram基本思想是将文本里面的内容按照字节大小进行滑动窗口操作，形成长度是N的字节片段序列。此时每一个字节片段称为gram。对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间。列表 阅读全文

摘要： 一.概述 Tokenizer分词器接收字符流(es的text类型)，将其分解为单个term(通常是单个单词), 然后输出标记流。分词器除了分解，还负责记录以下内容： 1）记录每个单词(term)的顺序或位置(用于”phrase短语“和单词邻近性查询） 2）term原始单词的开始和结束字符偏移量（使用 阅读全文