[Gse] 高效的Golang中文分析库推荐

 

优点：用法简单，支持各种语言，基本满足需求。

缺点：默认分词字典文件有 8M 需测试使用速度。

我们可以直接封装一个简单的辅助方法来实现分词功能：

// @author cnblogs.com/farwish
package service

import (
    "github.com/go-ego/gse"
)

func SegmentCutSearchMode(text string) []string {
    var (
        seg gse.Segmenter
    )

    // Skip log print
    seg.SkipLog = true

    // load default dict
    err := seg.LoadDict(); if err != nil {
        panic("segment error")
    }

    // 处理分词结果
    // 支持普通模式和搜索模式两种分词，见代码中 ToString 函数的注释。
    // 搜索模式主要用于给搜索引擎提供尽可能多的关键字
    // seg.String, seg.Slice 输出的类型不同
    return seg.Slice(text, true)
}

 

Refer：Golang中文分词

Refer：https://github.com/gopher-lego/gse

Other：部署二进制运行时 go-ego/gse 如何正确加载分词字典

Link：https://www.cnblogs.com/farwish/p/15640231.html