php 使用jieba-php分词库实现中文分词

jieba-php是一个基于jieba算法的PHP分词库,它是Python中非常流行的一个分词工具。以下是如何使用jieba-php进行分词的示例:

  1. 通过composer安装包:
    composer require fukuball/jieba-php
  2. php的使用方法如下:
    <?php
    // 自动加载Composer的类
    require_once "./vendor/autoload.php";
    
    // 引入命名空间
    use Fukuball\Jieba\Jieba;
    use Fukuball\Jieba\Finalseg;
    
    // 设置内存限制,因为分词可能需要较多内存
        ini_set('memory_limit', '1024M');
        $start_memory = memory_get_usage();
        // 初始化jieba和Finalseg
        Jieba::init();
        Finalseg::init();
    
        // 待分词的字符串
        $text = "资深PHP工程师";
    
        // 进行分词,默认模式
        $seg_list = Jieba::cut($text);
        print_r($seg_list);
    
        // 全模式分词,返回所有可能的词语
        $seg_list_all = Jieba::cut($text, true);
        print_r($seg_list_all);
    
        // 搜索引擎模式分词,粒度更细
        $seg_list_for_search = Jieba::cutForSearch($text);
        print_r($seg_list_for_search);
    
        $end_memory = memory_get_usage();
        $use_mem    = ($end_memory - $start_memory) / 1024 / 1024;
        var_dump($use_mem);
        die;

     

    输出结果:
    Array
    (
        [0] => 资深
        [1] => PHP
        [2] => 工程师
    )
    Array
    (
        [0] => 资深
        [1] => 工程
        [2] => 工程师
    )
    Array
    (
        [0] => 资深
        [1] => PHP
        [2] => 工程
        [3] => 工程师
    )
    float(279.49800872803)

作者:Carver-大脸猫

出处:https://www.cnblogs.com/carver/articles/18602789

版权:本作品采用「署名-非商业性使用-相同方式共享 4.0 国际」许可协议进行许可。

转载请注明原处

posted @   Carver-大脸猫  阅读(29)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 25岁的心里话
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up light_mode palette
选择主题