盘古分词的使用

下载地址：http://pangusegment.codeplex.com/

下载的为主程序，正常使用还需下载词库。

引用PanGu.dll，

初始化：

PanGu.Segment.Init();或

PanGu.Segment.Init(filename);

filename 为pangu.xml 的完整路径名，如 “c:\pangu.xml”

pangu.xml为盘古分词的默认配置文件，其中包含分词时的各种配置属性。

分词：

Segment segment = new Segment();
ICollection<WordInfo> words = segment.DoSegment(text);
或
ICollection<WordInfo> words = segment.DoSegment(text, options);
或
ICollection<WordInfo> words = segment.DoSegment(text, options, parameters);

text 为需要分词的文本

options 为自定义分词选项，默认为pangu.xml 中指定的分词选项

parameters 为分词参数，默认为pangu.xml 中指定的分词参数

words[i].word为分词的结果。

分词选项定义：

public class MatchOptions
    {
        /// <summary>
        /// 中文人名识别
        /// </summary>
        public bool ChineseNameIdentify = false;

        /// <summary>
        /// 词频优先
        /// </summary>
        public bool FrequencyFirst = false;

        /// <summary>
        /// 多元分词
        /// </summary>
        public bool MultiDimensionality = true;

        /// <summary>
        /// 英文多元分词，这个开关，会将英文中的字母和数字分开。
        /// </summary>
        public bool EnglishMultiDimensionality = false;

        /// <summary>
        /// 过滤停用词
        /// </summary>
        public bool FilterStopWords = true;

        /// <summary>
        /// 忽略空格、回车、Tab
        /// </summary>
        public bool IgnoreSpace = true;

        /// <summary>
        /// 强制一元分词
        /// </summary>
        public bool ForceSingleWord = false;

        /// <summary>
        /// 繁体中文开关
        /// </summary>
        public bool TraditionalChineseEnabled = false;

        /// <summary>
        /// 同时输出简体和繁体
        /// </summary>
        public bool OutputSimplifiedTraditional = false;

      /// <summary>
        /// 未登录词识别
        /// </summary>
        public bool UnknownWordIdentify = true;

        /// <summary>
        /// 过滤英文，这个选项只有在过滤停用词选项生效时才有效
        /// </summary>
        public bool FilterEnglish = false;

        /// <summary>
        /// 过滤数字，这个选项只有在过滤停用词选项生效时才有效
        /// </summary>
        public bool FilterNumeric = false;


        /// <summary>
        /// 忽略英文大小写
        /// </summary>
        public bool IgnoreCapital = false;

        /// <summary>
        /// 英文分词
        /// </summary>
        public bool EnglishSegment = false;

        /// <summary>
        /// 同义词输出
        /// </summary>
        /// <remarks>
        /// 同义词输出功能一般用于对搜索字符串的分词，不建议在索引时使用
        /// </remarks>
        public bool SynonymOutput = false;

        /// <summary>
        /// 通配符匹配输出
        /// </summary>
        /// <remarks>
        /// 同义词输出功能一般用于对搜索字符串的分词，不建议在索引时使用
        /// </remarks>
        public bool WildcardOutput = false;

        /// <summary>
        /// 对通配符匹配的结果分词
        /// </summary>
        public bool WildcardSegment = false;

        /// <summary>
        /// 是否进行用户自定义规则匹配
        /// </summary>
        public bool CustomRule = false;

    }

分词参数定义：

[Serializable]
    public class MatchParameter
    {
        /// <summary>
        /// 多元分词冗余度
        /// </summary>
        public int Redundancy = 0;

        /// <summary>
        /// 未登录词权值
        /// </summary>
        public int UnknowRank = 1;

        /// <summary>
        /// 最匹配词权值
        /// </summary>
        public int BestRank = 5;

        /// <summary>
        /// 次匹配词权值
        /// </summary>
        public int SecRank = 3;

        /// <summary>
        /// 再次匹配词权值
        /// </summary>
        public int ThirdRank = 2;

        /// <summary>
        /// 强行输出的单字的权值
        /// </summary>
        public int SingleRank = 1;

        /// <summary>
        /// 数字的权值
        /// </summary>
        public int NumericRank = 1;

        /// <summary>
        /// 英文词汇权值
        /// </summary>
        public int EnglishRank = 5;

        /// <summary>
        /// 符号的权值
        /// </summary>
        public int SymbolRank = 1;

        /// <summary>
        /// 强制同时输出简繁汉字时，非原来文本的汉字输出权值。
        /// 比如原来文本是简体，这里就是输出的繁体字的权值，反之亦然。
        /// </summary>
        public int SimplifiedTraditionalRank = 1;

        /// <summary>
        /// 同义词权值
        /// </summary>
        public int SynonymRank = 1;

        /// <summary>
        /// 通配符匹配结果的权值
        /// </summary>
        public int WildcardRank = 1;

        /// <summary>
        /// 过滤英文选项生效时，过滤大于这个长度的英文。
        /// </summary>
        public int FilterEnglishLength = 0;

        /// <summary>
        /// 过滤数字选项生效时，过滤大于这个长度的数字。
        /// </summary>
        public int FilterNumericLength = 0;

        /// <summary>
        /// 用户自定义规则的配件文件名
        /// </summary>
        public string CustomRuleAssemblyFileName = "";

        /// <summary>
        /// 用户自定义规则的类的完整名，即带名字空间的名称
        /// </summary>
        public string CustomRuleFullClassName = "";

    }

返回的WordInfo：

public class WordInfo : WordAttribute, IComparable<WordInfo>
    {
        /// <summary>
        /// 当前单词类型
        /// </summary>
        public WordType WordType;

        /// <summary>
        /// 原始的单词类型
        /// </summary>
        public WordType OriginalWordType;

        /// <summary>
        /// 单词在text 中的起始位置
        /// </summary>
        public int Position;

        /// <summary>
        /// Rank for this word
        /// 单词权重
        /// </summary>
public int Rank;

        /// <summary>
        /// 单词
        /// </summary>
        public String Word;

        /// <summary>
        /// 词性
        /// </summary>
        public POS Pos;

        /// <summary>
        /// 词频
        /// </summary>
public double Frequency;
}

配置文件pangu.xml中，

其中DictionaryPath 指明字典所在目录，可以为相对路径也可以为绝对路径；

MatchOptions 对应分词选项；

Parameters 对于分词参数。

 

具体请见文档：https://files.cnblogs.com/dc-lancer/%E7%9B%98%E5%8F%A4%E5%88%86%E8%AF%8DAPI.rar