中文电商标题分词结果对比
中文电商标题分词对比
1、选用的分词方法
- 中科院
- PaddleNLP
- 哈工大LTP
- 清华THULAC
- HanLP（细粒度）
- HanLP（粗粒度）
- ANSJ
2、各分词代码及在线测试网址
- 中科院
参考
import pynlpir
pynlpir.open()
def main():
content = "洁柔卷纸(C&S) 黑Face 加厚4层140g卫生纸巾*30卷（母婴可用冲厕易降解）整箱销售 新老品交替发货"
words = pynlpir.segment(content, pos_tagging=False)
for word in words:
print(word)
- PaddleNLP
参考
# pip install --upgrade paddlenlp
# pip install pypinyin
# pip install LAC
from pprint import pprint
from paddlenlp import Taskflow
def main1():
seg = Taskflow("word_segmentation")
doc = "Redmi Note 11 5G 天玑810 33W Pro快充 5000mAh大电池 6GB +128GB 神秘黑境 智能手机 小米 红米"
print("1. 输入长度：", len(doc))
print("2. 分词结果：", seg(doc))
# pip install hanlp_restful
from hanlp_restful import HanLPClient
def main():
HanLP = HanLPClient('https://www.hanlp.com/api', auth=None, language='zh') # auth不填则匿名，zh中文，mul多语种
doc = HanLP.parse("Redmi Note 11 5G 天玑810 33W Pro快充 5000mAh大电池 6GB +128GB 神秘黑境 智能手机 小米 红米")
print(doc)
- ANSJ
参考
<dependency>
<groupId>org.ansj</groupId>
<artifactId>ansj_seg</artifactId>
<version>5.1.1</version>
</dependency>
String str = "Redmi Note 11 5G 天玑810 33W Pro快充 5000mAh大电池 6GB +128GB 神秘黑境 智能手机 小米 红米" ;
System.out.println(ToAnalysis.parse(str));
3、电商标题分词结果对比
根据实际应用各分词排序：HanLP（粗粒度）> HanLP（细粒度）> 清华THULAC > PaddleNLP > 中科院 > 合工大LTP-cloud > ANSJ
注：分词结果使用“,”分隔
3.1 手机类
1、Redmi Note 11 5G 天玑810 33W Pro快充 5000mAh大电池 6GB +128GB 神秘黑境 智能手机 小米 红米
中科院： Redmi, ,Note, ,11, ,5G, ,天,玑,810, ,33W, ,Pro,快,充, ,5000mAh,大,电池, ,6GB, ,+128GB, ,神秘,黑,境, ,智能,手机, ,小米, ,红,米
PaddleNLP： Redmi, ,Note, ,11, ,5G, ,天玑,810, ,33W, ,Pro,快,充, ,5000mAh,大,电池, ,6GB, ,+,128GB, ,神秘,黑境, ,智能,手机, ,小米, ,红米
合工大LTP-cloud：Redmi Note 11 5G,天玑810,33W,Pro,快,充,5000mAh,大,电池,6GB +128GB,神秘,黑境,智能,手机,小米,红米
清华THULAC： Redmi,Note,11,5,G,天玑,810,33W,Pro,快,充,5000mAh,大,电池,6GB,+,128GB,神秘,黑境,智能,手机,小米,红米
HanLP（细粒度）：Redmi,Note,11,5G,天玑,810,33W,Pro,快充,5000mAh,大,电池,6GB,+,128GB,神秘,黑境,智能,手机,小米,红米
HanLP（粗粒度）：Redmi,Note,11,5G,天玑,810 33W,Pro,快充,5000mAh,大,电池,6GB,+,128GB,神秘,黑境,智能手机,小米,红米
ANSJ： redmi, ,note, ,11, ,5,g, ,天,玑,810, ,33,w, ,pro,快,充, ,5000,mah,大,电池, ,6,gb, ,+,128,gb, ,神秘,黑,境, ,智能,手机, ,小米, ,红,米
2、Apple iPhone 13 (A2634) 256GB 星光色 支持移动联通电信5G 双卡双待手机
中科院： Apple, ,iPhone, ,13, ,(,A2634,), ,256GB, ,星光,色, ,支持,移动,联通,电信,5G, ,双,卡,双,待,手机
PaddleNLP： Apple, ,iPhone, ,13, ,(,A2634,), ,256GB, ,星,光色, ,支持,移动,联通电信,5G, ,双卡,双待,手机
合工大LTP-cloud：Apple,iPhone,13,(,A2634,),256GB,星光色,支持,移动,联通,电信5G,双,卡,双待,手机
清华THULAC： Apple,iPhone,13,(,A2634,),256GB,星光,色,支持,移动,联通,电信,5,G,双,卡,双,待,手机
HanLP（细粒度）：Apple,iPhone,13,(,A2634,),256GB,星光色,支持,移动,联通,电信,5G,双,卡,双,待,手机
HanLP（粗粒度）：Apple,iPhone,13,(,A2634,),256GB,星光色,支持,移动,联通,电信,5G,双卡双待手机
ANSJ： apple, ,iphone, ,13, ,(,a,2634,), ,256,gb, ,星光,色, ,支持,移动,联通,电信,5,g, ,双,卡,双,待,手机
3、HUAWEI P50 原色双影像单元 基于鸿蒙操作系统 万象双环设计 支持66W超级快充 8GB+256GB曜金黑 华为手机
中科院： HUAWEI, ,P50, ,原色,双,影像,单元, ,基于,鸿蒙,操作系统, ,万象,双,环,设计, ,支持,66W,超级,快,充, ,8GB+256GB,曜,金,黑, ,华为,手机
PaddleNLP： HUAWEI, ,P50, ,原色,双,影像,单元, ,基于,鸿蒙,操作系统, ,万象,双环,设计, ,支持,66W,超级,快,充, ,8GB+,256GB曜金黑, ,华为,手机
合工大LTP-cloud：HUAWEI,P50,原色,双,影像,单元,基于,鸿蒙,操作系统,万象,双环,设计,支持,66W,超级,快充,8GB,+,256GB,曜金,黑 华为,手机
清华THULAC： HUAWEI,P50,原色,双,影像,单元,基于,鸿蒙,操作系统,万象,双,环,设计,支持,66W,超级,快,充,8GB,+,256GB,曜,金,黑,华为,手机
HanLP（细粒度）：HUAWEI P50,原色,双,影像,单元,基于,鸿蒙,操作,系统,万象,双,环,设计,支持,66W,超级,快充,8GB,+,256GB,曜金,黑,华为,手机
HanLP（粗粒度）：HUAWEI P50,原色,双影像,单元,基于,鸿蒙,操作系统,万象,双环,设计,支持,66W,超级,快充,8GB,+,256GB,曜金,黑,华为手机
ANSJ： huawei, ,p,50, ,原色,双,影像,单元, ,基于,鸿蒙,操作系统, ,万象,双,环,设计, ,支持,66,w,超级,快,充, ,8,gb,+,256,gb,曜,金,黑, ,华为,手机
4、OPPO K9s 8+256GB 幻紫流沙 骁龙778G 120Hz电竞屏 5000mAh长续航 6400万人像三摄 拍照 5G手机
中科院： OPPO, ,K9s, ,8+256GB, ,幻,紫,流沙, ,骁,龙,778G, ,120Hz,电,竞屏, ,5000mAh,长,续航, ,6400万,人,像,三,摄, ,拍照, ,5G,手机
PaddleNLP： OPPO, ,K9s, ,8,+,256GB, ,幻紫,流沙, ,骁龙778G, ,120Hz,电竞屏, ,5000mAh,长,续航, ,6400万,人像,三摄, ,拍照, ,5G,手机
合工大LTP-cloud：OPPO,K9s 8,+,256GB,幻紫流沙,骁龙778G,120Hz,电竞屏,5000mAh,长续航,6400万,人像,三,摄,拍照 5G,手机
清华THULAC： OPPO,K9s,8,+,256GB,幻,紫,流沙,骁龙,778G,120Hz,电,竞,屏,5000mAh,长,续航,6400,万,人,像,三,摄,拍照,5,G,手机
HanLP（细粒度）：OPPO,K9s,8,+,256GB,幻紫,流沙,骁龙,778G,120Hz,电竞屏,5000mAh,长,续航,6400万,人像,三,摄,拍照,5G,手机
HanLP（粗粒度）：OPPO,K9s,8+256GB,幻紫,流沙,骁龙,778G 120Hz,电竞屏,5000mAh,长,续航,6400万,人像,三,摄,拍照,5G,手机
ANSJ： oppo, ,k,9,s, ,8,+,256,gb, ,幻紫,流沙, ,骁,龙,778,g, ,120,hz,电,竞,屏, ,5000,mah,长,续航, ,6400万,人,像,三,摄, ,拍照, ,5,g,手机
5、小米12S Ultra 骁龙8+旗舰处理器 徕卡光学镜头 2K超视感屏 120Hz高刷 67W快充 12GB+512GB 经典黑 5G手机
中科院： 小米,12S, ,Ultra, ,骁,龙,8+,旗舰,处理器, ,徕,卡,光学,镜头, ,2K,超,视,感,屏, ,120Hz,高,刷, ,67W,快,充, ,12GB+512GB, ,经典,黑, ,5G,手机
PaddleNLP： 小米12S, ,Ultra, ,骁龙8+,旗舰,处理器, ,徕卡,光学,镜头, ,2K,超视,感屏, ,120Hz,高,刷, ,67W,快,充, ,12GB,+,512GB, ,经典,黑, ,5G,手机
合工大LTP-cloud：小米12S,Ultra,骁龙8+,旗舰,处理器,徕卡,光学,镜头,2K,超视感屏,120Hz,高刷,67W,快充,12GB,+,512GB,经典,黑 5G,手机
清华THULAC： 小米,12S,Ultra,骁龙,8,+,旗舰,处理器,徕,卡,光学,镜头,2,K,超,视,感屏,120Hz,高,刷,67W,快,充,12GB,+,512GB,经典,黑,5,G,手机
HanLP（细粒度）：小米,12S,Ultra,骁龙,8,+,旗舰,处理器,徕卡,光学,镜头,2K,超,视感屏,120Hz,高,刷,67W,快,充,12GB,+,512GB,经典,黑,5G,手机
HanLP（粗粒度）：小米,12S,Ultra,骁龙,8+,旗舰,处理器,徕卡,光学镜头,2K,超,视感屏,120Hz,高,刷,67W,快充,12GB,+,512GB,经典,黑,5G,手机
ANSJ： 小米,12,s, ,ultra, ,骁,龙,8,+,旗舰,处理器, ,徕,卡,光学,镜头, ,2,k,超,视,感,屏, ,120,hz,高,刷, ,67,w,快,充, ,12,gb,+,512,gb, ,经典,黑, ,5,g,手机
6、Redmi 10A 5000mAh大电量 1300万AI相机 八核处理器 指纹解锁 4GB+128GB 暗影黑 智能手机 小米 红米
中科院： Redmi, ,10A, ,5000mAh,大,电量, ,1300万AI,相机, ,八,核,处理器, ,指纹,解,锁, ,4GB+128GB, ,暗影,黑, ,智能,手机, ,小米, ,红,米
PaddleNLP： Redmi, ,10A, ,5000mAh,大,电量, ,1300万AI,相机, ,八核处理器, ,指纹,解锁, ,4GB,+,128GB, ,暗影,黑, ,智能,手机, ,小米, ,红米
合工大LTP-cloud：Redmi 10A,5000mAh,大,电量,1300万,AI,相机,八,核,处理器,指纹,解锁,4GB,+,128GB,暗影,黑,智能,手机,小米,红米
清华THULAC： Redmi,10A,5000mAh,大,电量,1300,万,AI,相机,八,核,处理器,指纹,解,锁,4GB,+,128GB,暗影,黑,智能,手机,小米,红米
HanLP（细粒度）：Redmi,10A,5000mAh,大,电量,1300万,AI,相机,八,核,处理器,指纹,解锁,4GB,+,128GB,暗影,黑,智能,手机,小米,红米
HanLP（粗粒度）：Redmi,10A,5000mAh,大,电量,1300万,AI,相机,八,核,处理器,指纹解锁,4GB,+,128GB,暗影,黑,智能手机,小米,红米
ANSJ： redmi, ,10,a, ,5000,mah,大,电量, ,1300万,ai,相机, ,八,核,处理器, ,指纹,解锁, ,4,gb,+,128,gb, ,暗影,黑, ,智能,手机, ,小米, ,红,米
3.2 纸品类
1、维达(Vinda) 卷纸 蓝色经典4层200克*27卷 卫生卷筒纸 纸巾 (整箱销售) 加厚款 居家必备
中科院： 维达,(,Vinda,), ,卷,纸, ,蓝色,经典,4,层,200,克,*,27,卷, ,卫生,卷筒,纸, ,纸巾, ,(,整,箱,销售,), ,加厚,款, ,居家,必备
PaddleNLP： 维达,(,Vinda,), ,卷,纸, ,蓝色,经典,4层,200克,*,27卷, ,卫生,卷筒纸, ,纸巾, ,(,整箱,销售,), ,加厚,款, ,居家,必备
合工大LTP-cloud：维达,(,Vinda,),卷,纸,蓝色,经典,4,层,200,克*27,卷,卫生,卷筒,纸 纸巾,(,整,箱,销售,),加,厚款,居家,必备
清华THULAC： 维达,(,Vinda,),卷纸,蓝色,经典,4,层,200,克,*,27,卷,卫生,卷,筒,纸,纸巾,(,整,箱,销售,),加厚,款,居家,必备
HanLP（细粒度）：维达,(,Vinda,),卷纸,蓝色,经典,4,层,200,克,*,27,卷,卫生,卷筒,纸,纸巾,(,整,箱,销售,),加厚,款,居家,必备
HanLP（粗粒度）：维达,(,Vinda,),卷纸,蓝色经典,4层,200克,*,27卷,卫生,卷筒纸,纸巾,(,整,箱,销售,),加厚,款,居家,必备
ANSJ： 维达,(,vinda,), ,卷,纸, ,蓝色,经典,4层,200克,*,27卷, ,卫生,卷筒,纸, ,纸巾, ,(,整箱,销售,), ,加厚,款, ,居家,必备
2、清风（APP）卷纸 原木纯品金装系列 4层加厚140克卫生纸巾10卷（母婴可用，柔软强韧 新老包装交替发货）
中科院： 清风,（,APP,）,卷,纸, ,原木,纯,品,金,装,系列, ,4,层,加厚,140,克,卫生纸,巾,10,卷,（,母婴,可用,，,柔软,强,韧, ,新,老,包装,交替,发货,）
PaddleNLP： 清风,（,APP,）,卷纸, ,原木,纯品,金装,系列, ,4层,加厚,140克,卫生,纸巾,10卷,（,母婴,可用,，,柔软,强韧, ,新,老,包装,交替,发货,）
合工大LTP-cloud：清风,（,APP,）,卷纸,原木,纯品,金装,系列,4,层,加厚,140,克,卫生,纸巾,10,卷,（,母婴,可,用，,柔软,强韧,新,老,包装,交替,发货,）
清华THULAC： 清风,（,APP,）,卷纸,原木,纯,品,金,装,系列,4,层,加厚,140,克,卫生,纸巾,10,卷,（,母,婴,可,用,，,柔软,强韧,新,老,包装,交替,发货,）
HanLP（细粒度）：清风,（,APP,）,卷纸,原木,纯品,金装,系列,4,层,加厚,140,克,卫生,纸巾,10,卷,（,母婴,可,用,，,柔软,强韧,新,老,包装,交替,发货,）
HanLP（粗粒度）：清风,（,APP,）,卷纸,原木,纯品,金装,系列,4层,加厚,140克,卫生纸巾,10卷,（,母婴,可用,，,柔软,强韧,新,老,包装,交替,发货,）
ANSJ： 清风,（,app,）,卷,纸, ,原木,纯,品,金,装,系列, ,4层,加厚,140克,卫生,纸巾,10卷,（,母婴,可用,，,柔软,强韧, ,新,老,包装,交替,发货,）
3、心相印卷纸 心柔系列4层140g 27卷卫生纸巾（冲水易降解 整箱销售）新旧品随机发货
中科院： 心,相,印,卷纸, ,心柔,系列,4,层,140g, ,27,卷,卫生纸,巾,（,冲,水,易,降解, ,整,箱,销售,）,新,旧,品,随机,发货
PaddleNLP： 心,相,印卷纸, ,心柔,系列,4层,140g, ,27卷,卫生,纸巾,（,冲水,易,降解, ,整箱,销售,）,新,旧品,随机,发货
合工大LTP-cloud：心相,印卷纸,心柔,系列,4,层,140g,27,卷,卫生,纸巾,（,冲,水,易,降解,整,箱,销售,）,新旧品,随机,发货
清华THULAC： 心,相,印,卷,纸,心,柔,系列,4,层,140g,27,卷,卫生,纸巾,（,冲,水,易,降解,整,箱,销售,）,新旧,品,随机,发货
HanLP（细粒度）：心,相,印,卷纸,心柔,系列,4,层,140g,27,卷,卫生,纸巾,（,冲,水,易,降解,整,箱,销售,）,新,旧,品,随机,发货
HanLP（粗粒度）：心相印,卷纸,心柔,系列,4层,140g,27卷,卫生纸巾,（,冲水,易,降解,整,箱,销售,）,新,旧品,随机,发货
ANSJ： 心,相,印,卷,纸, ,心,柔,系列,4层,140,g, ,27卷,卫生,纸巾,（,冲,水,易,降解, ,整箱,销售,）,新,旧,品,随机,发货
4、清风擦手纸200抽20包3折抽取式抽纸纸厨房用纸抹手吸油纸巾酒店商用加厚洗手间干手纸巾A913BBL
中科院： 清风,擦,手纸,200,抽,20,包,3,折,抽取,式,抽,纸,纸,厨房,用纸,抹,手,吸,油纸,巾,酒店,商用,加厚,洗手间,干,手,纸巾,A913BBL
PaddleNLP： 清风,擦,手纸,200,抽,20包,3折,抽,取式,抽,纸,纸,厨房,用纸,抹手,吸油,纸巾,酒店,商用,加厚,洗手间,干手,纸巾,A913BBL
合工大LTP-cloud：清风,擦手纸,200,抽,20,包,3,折,抽取式,抽纸纸,厨房,用,纸,抹,手,吸,油,纸巾,酒店,商用,加厚,洗手间,干手,纸巾,A913BBL
清华THULAC： 清风,擦,手纸,200,抽,20,包,3,折,抽取,式,抽,纸纸,厨房,用,纸,抹,手,吸,油,纸巾,酒店,商用,加厚,洗手间,干手,纸巾,A913BBL
HanLP（细粒度）：清风,擦手,纸,200,抽,20,包,3,折,抽取式,抽纸纸,厨房,用,纸,抹,手,吸,油,纸巾,酒店,商用,加厚,洗手间,干,手,纸巾,A913BBL
HanLP（粗粒度）：清风,擦手纸,200,抽,20包,3折,抽取式,抽纸纸,厨房,用,纸,抹,手,吸油,纸巾,酒店,商用,加厚,洗手间,干手,纸巾,A913BBL
ANSJ： 清风,擦,手,纸,200,抽,20包,3折,抽取,式,抽,纸,纸,厨房,用纸,抹,手,吸,油,纸巾,酒店,商用,加厚,洗手间,干,手,纸巾,a,913,bbl
5、洁柔卷纸(C&S) 黑Face 加厚4层140g卫生纸巾*30卷（母婴可用冲厕易降解）整箱销售 新老品交替发货
中科院： 洁,柔,卷,纸,(,C,&,S,), ,黑,Face, ,加厚,4,层,140g,卫生,纸巾,*,30,卷,（,母婴,可用,冲,厕,易,降解,）,整,箱,销售, ,新,老,品,交替,发货
PaddleNLP： 洁柔卷纸,(,C,&,S,), ,黑,Face, ,加厚,4层,140g,卫生,纸巾,*,30卷,（,母婴,可用,冲厕,易,降解,）,整箱,销售, ,新,老品,交替,发货
合工大LTP-cloud：洁柔,卷纸,(,C,&,S,),黑,Face,加,厚,4,层,140g,卫生,纸巾,*,30,卷,（,母婴,可用,冲厕,易,降解,）,整,箱,销售,新老品,交替,发货
清华THULAC： 洁柔,卷纸,(,C&S,),黑,Face,加厚,4,层,140g,卫生,纸巾,*,30,卷,（,母,婴,可,用,冲,厕,易,降解,）,整,箱,销售,新,老,品,交替,发货
HanLP（细粒度）：洁柔,卷纸,(,C&S,),黑,Face,加厚,4,层,140g,卫生,纸巾,*,30,卷,（,母,婴,可,用,冲,厕,易,降解,）,整,箱,销售,新,老,品,交替,发货
HanLP（粗粒度）：洁柔,卷纸,(,C&S,),黑,Face,加厚,4层,140g,卫生纸巾,*,30卷,（,母婴,可用,冲厕,易,降解,）,整,箱,销售,新,老品,交替,发货
ANSJ： 洁,柔,卷,纸,(,c,&,s,), ,黑,face, ,加厚,4层,140,g,卫生,纸巾,*,30卷,（,母婴,可用,冲,厕,易,降解,）,整箱,销售, ,新,老,品,交替,发货
