AI 智能搜索 开源hanlp实现

 

AI智能搜索

通过网络资源可知有很多种开源方式实现智能搜索，其中hanlp在GitHub中响应居高

参考链接：

https://www.hanlp.com/

Java版：https://github.com/hankcs/HanLP
Python版：https://github.com/hankcs/pyhanlp

https://hanlp.hankcs.com/docs/api/restful_java.html

http://www.hankcs.com/nlp/hanlp.html

https://github.com/hankcs/HanLP/releases

 

浅谈拙见

Hanlp说明

想要调用hanlp，首先需要有相应jar包，具体下载地址已在参考链接中

其次，hanlp中包含一个配置文件hanlp.properties

如果想进行相似对比，文本推荐等需要hanlp语料库的支持，故还需语料库文件data-for-1.7.5.zip

 

由于现有需求，需要将jar包转换为dll文件在.net core 文件中引用

转换dll的方法可自行百度，但注意，.net framework 和.net core所需的dll并非是同一种，不然会报错。

稍后我将我转换的dll文件上传，链接后补

 https://files.cnblogs.com/files/zwbsoft/hanlp-core-1.8.3.dll.zip?t=1668498093   记得去掉zip后缀

所有准备工作完成，将相当于jvm的文件IKVM.OpenJDK.Core.dll和将jar包解析出来的hanlp-core-1.8.3.dll同时引用到.net core 项目中

具体使用如下，相关使用参考官网文档

本人core程序，实践可行几种方式如下

1. nlp分词

        static void Main(string[] args)

        {

            Console.WriteLine("Hello World!");

            try

            {

                java.lang.System.getProperties().setProperty("java.class.path", @"E:\\install\\hanlp");

                Console.WriteLine(HanLP.segment("你好，欢迎在CSharp中调用HanLP的API！ "));}

            catch (Exception ex)

            {

                Console.WriteLine(ex);

            }

        }

说明一下“E:\\install\\hanlp”需要把jar包和配置文件，及解压后的data语料库文件夹放在同一目录，该方法其实是通过jvm调用java，使得.net core 能够对其进行方法调用

 

1. 关键字提取

Console.WriteLine(HanLP.extractKeyword("商品和服务",2));

输出结果

 

 

 

1. 汉字转拼音

 private static void py()

        {

            string stringpy = "每个青年都应当有远大的抱负";

            //var z = HanLP.convertToPinyinString("报复","",true);

            //Console.WriteLine(z);

            //汉字转拼音搜索   

            var listpy = HanLP.convertToPinyinList(stringpy);

            Console.WriteLine(listpy);

            foreach (var item in listpy.toArray())

            {

                Console.WriteLine(item);

            }

            var firstpyt = HanLP.convertToPinyinFirstCharString(stringpy, "", true);

            Console.WriteLine(firstpyt);

            var firstpyf = HanLP.convertToPinyinFirstCharString(stringpy, " ", false);

            Console.WriteLine(firstpyf);

            //拼音转汉字

 

 

 

            String text = "重载不是重任";

            java.util.List pinyinList = HanLP.convertToPinyinList(text);

            Console.WriteLine("原文,");

            foreach (char c in text.ToCharArray())

            {

                Console.WriteLine("%c,", c);

            }

            Console.WriteLine();

            Console.WriteLine("拼音（数字音调）,");

            foreach (Pinyin pinyin in pinyinList.toArray())

            {

                Console.Write("%s,", pinyin);

            }

            Console.WriteLine();

            Console.WriteLine("拼音（符号音调）,");

            foreach (Pinyin pinyin in pinyinList.toArray())

            {

                Console.Write("%s,", pinyin.getPinyinWithToneMark());

            }

            Console.WriteLine();

            Console.WriteLine("拼音（无音调）,");

            foreach (Pinyin pinyin in pinyinList.toArray())

            {

                Console.WriteLine("%s,", pinyin.getPinyinWithoutTone());

            }

            Console.WriteLine();

            Console.WriteLine("声调,");

            foreach (Pinyin pinyin in pinyinList.toArray())

            {

                Console.Write("%s,", pinyin.getTone());

            }

        }

1. 繁简互转

string fttext = "知識沒有盡頭，就像海沒有邊際";

      Console.WriteLine(HanLP.convertToSimplifiedChinese(fttext));

效果如下

 

 

 

1. 文本推荐，耗时最长，如有解决，烦请指教（未成功）

文本推荐原理

假设“你爱我们”和“我们爱你”进行相似度计算，计算机会将每一句话的每个词，根据语料库进行计算，算出词向量值，在通过对每个词向量进行累加就变成了句向量，再将两个计算的句向量值，进行cos余弦计算，最终得出相似匹配度

先贴代码后赘述

 

        public static Vector query(string content)

        {

            if (content == null || content.Length == 0)

            { Console.WriteLine("-------------------");return null; }

            //对句子进行分词，我爱你们--->["我"、"爱"、"你们"]

            object z = NotionalTokenizer.segment(content);//

            java.util.List termList = NotionalTokenizer.segment(content);

            Vector result = new Vector(200);

            int n = 0;

            //WordVectorModel wordVectorModelss = new WordVectorModel("en-vectors.txt");

            WordVectorModel wordVectorModelss = new WordVectorModel("E:\\install\\hanlp\\data\\model\\sogouyuliaoku.txt");

            foreach (Term term in termList.toArray())

            {

                //从word2vec词典中查出这个词的 词向量

                Vector vector = wordVectorModelss.vector(term.word);

                if (vector == null)

                {

                    //如果这是一个oov词,则直接忽略

                    continue;

                }

                ++n;

                //将 句子分词后的每个词 的词向量 相加

                result.addToSelf(vector);

            }

            if (n == 0)

            {

                Console.WriteLine("-------------------");

                return null;

            }

            //归一化

            result.normalize();

            //句子--->分词--->查询词向量--->词向量相加作为"句向量"

            Console.WriteLine(result);

            return result;

        }

        /**

        * 文档相似度计算

        * @param what

        * @param with

        * @return

        */

        public static float similarity(string what, string with)

        {

            //what 文档的 向量

            Vector A = query(what);

            if (A == null) return -1f;

            //to 文档的 向量

            Vector B = query(with);

            if (B == null) return -1f;

            //计算余弦相似度

            return A.cosineForUnitVector(B);

        }

其他均可运行，但通过java.Util对其进行获取WordVectorModel wordVectorModelss = new WordVectorModel("E:\\install\\hanlp\\data\\model\\sogouyuliaoku.txt");

指定语料库时，报错，报错信息如图

 

 

 

 

 

 Unable to cast object of type 'java.util.PropertyResourceBundle' to type 'sun.util.resources.OpenListResourceBundle'.

对其无法追究其根本，故从java中进行测试，能获取到文件，但同样会报错

报错信息如下

 

 

 

查询具体报错是，大致意思是说足彩这种从文本中获取的文字数据无法计算词向量，计算出的值为-1就报异常，但其实应该是0-9之间的区间值。