摘要:spaCy能够比较两个对象,并预测它们的相似程度。 预测相似性对于构建推荐系统或标记重复项很有用。 例如,您可以建议与当前正在查看的用户内容相似的用户内容,或者将支持凭单标记为与现有内容非常相似的副本。 每个Doc、Span和Token都有一个.similarity()方法,它允许您将其与另一个对象
阅读全文
08 2019 档案
摘要:官方文档: https://spacy.io/api Spacy功能简介 可以用于进行分词,命名实体识别,词性识别等等,但是首先需要下载预训练模型 pip install --user spacy python -m spacy download en_core_web_sm pip install
阅读全文
摘要:官方文档: https://radimrehurek.com/gensim/models/word2vec.html 1、训练模型定义 参数解释: 1.sg=1是skip-gram算法,对低频词敏感;默认sg=0为CBOW算法。 2.size是输出词向量的维数,值太小会导致词映射因为冲突而影响结果,
阅读全文
摘要:git-url: https://github.com/lancopku/PKUSeg-python pkuseg:一个多领域中文分词工具包 pkuseg简单易用,支持细分领域分词,有效提升了分词准确度。 主要亮点 pkuseg具有如下几个特点: 编译和安装 目前仅支持python3 为了获得好的效
阅读全文