python-jieba_fast分词器

jieba 是一个中文分词器，可以将中文文本切分成一个个词语。使用 jieba 分词器，需要先安装 jieba 库，可以通过以下命令来安装：

pip install jieba_fast

如果装不上，首先在https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/ 下载Microsoft Visual C++ Build Tools，选择Windows 11 SDK组件。安装好之后是这样：

点击启动，会再弹出来一个Visual Studio 2022的窗口：

此时再打开编辑器终端，执行：pip install jieba_fast即可成功

使用：jieba_fast的cut方法可以将中文切成若干个词语，结果是一个生成器对象

import jieba_fast
text = '我有分词能力'
words = jieba_fast.cut(text)  # <generator object Tokenizer.cut at 0x00000224F1CA3938>
print(words)
for word in words:
    print(word)
"""
我
有
分词
能力
"""

jieba_fast的cut_for_search同cut，cut_for_search方法还会对长词进行切分，适合用于搜索引擎等场景