如何将文本转换为向量?(方法二)
文本转换为向量有多种方式:
方法一:
(推荐)方法二:
方法三:
方法四:
本文介绍方法二:如何通过
中的 将文本转换为向量,并入库至向量检索服务DashVector中进行向量检索。旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单。
ModelScope魔搭社区的愿景是汇集行业领先的预训练模型,减少开发者的重复研发成本,提供更加绿色环保、开源开放的AI开发环境和模型服务,助力绿色“数字经济”事业的建设。 ModelScope魔搭社区将以开源的方式提供多类优质模型,开发者可在平台上免费体验与下载使用。
在ModelScope魔搭社区,您可以:
-
免费使用平台提供的预训练模型,支持免费下载运行
-
一行命令实现模型预测,简单快速验证模型效果
-
用自己的数据对模型进行调优,定制自己的个性化模型
-
学习系统性的知识,结合实训,有效提升模型研发能力
-
分享和贡献你的想法、评论与模型,让更多人认识你,在社区中成长
前提条件
-
DashVector:
-
已创建Cluster:
-
已获得API-KEY:
-
已安装最新版SDK:
-
-
ModelScope:
-
已安装最新版SDK:
pip install -U modelscope
-
CoROM文本向量
简介
模型ID |
向量维度 |
度量方式 |
向量数据类型 |
备注 |
damo/nlp_corom_sentence-embedding_chinese-base |
768 |
Cosine |
Float32 |
|
damo/nlp_corom_sentence-embedding_english-base |
768 |
Cosine |
Float32 |
|
damo/nlp_corom_sentence-embedding_chinese-base-ecom |
768 |
Cosine |
Float32 |
|
damo/nlp_corom_sentence-embedding_chinese-base-medical |
768 |
Cosine |
Float32 |
|
damo/nlp_corom_sentence-embedding_chinese-tiny |
256 |
Cosine |
Float32 |
|
damo/nlp_corom_sentence-embedding_english-tiny |
256 |
Cosine |
Float32 |
|
damo/nlp_corom_sentence-embedding_chinese-tiny-ecom |
256 |
Cosine |
Float32 |
|
damo/nlp_corom_sentence-embedding_chinese-tiny-medical |
256 |
Cosine |
Float32 |
|
说明
关于CoROM文本向量模型更多信息请参考:
使用示例
说明
需要进行如下替换代码才能正常运行:
-
DashVector api-key替换示例中的{your-dashvector-api-key}
-
DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}
-
使用上表中模型ID替换示例中的{model_id}
-
需注意,若所使用的模型若为tiny模型,则向量维度为256
Python示例:
GTE文本向量
简介
模型ID |
向量维度 |
度量方式 |
向量数据类型 |
备注 |
damo/nlp_gte_sentence-embedding_chinese-base |
768 |
Cosine |
Float32 |
|
damo/nlp_gte_sentence-embedding_chinese-large |
768 |
Cosine |
Float32 |
|
damo/nlp_gte_sentence-embedding_chinese-small |
512 |
Cosine |
Float32 |
|
damo/nlp_gte_sentence-embedding_english-base |
768 |
Cosine |
Float32 |
|
damo/nlp_gte_sentence-embedding_english-large |
768 |
Cosine |
Float32 |
|
damo/nlp_gte_sentence-embedding_english-small |
384 |
Cosine |
Float32 |
|
说明
关于GTE文本向量模型更多信息请参考:
使用示例
本模型使用示例同
,进行相应模型ID和向量维度替换即可运行。
Udever 多语言通用文本表示模型
简介
模型ID |
向量维度 |
度量方式 |
向量数据类型 |
备注 |
damo/udever-bloom-560m |
1024 |
Cosine |
Float32 |
|
damo/udever-bloom-1b1 |
1536 |
Cosine |
Float32 |
|
damo/udever-bloom-3b |
2048 |
Cosine |
Float32 |
|
damo/udever-bloom-7b1 |
4096 |
Cosine |
Float32 |
|
说明
关于Udever 多语言通用文本表示模型更多信息请参考:
使用示例
本模型使用示例同
,进行相应模型ID和向量维度替换即可运行。
StructBERT FAQ问答
简介
模型ID |
向量维度 |
度量方式 |
向量数据类型 |
备注 |
damo/nlp_structbert_faq-question-answering_chinese-base |
768 |
Cosine |
Float32 |
|
damo/nlp_structbert_faq-question-answering_chinese-finance-base |
768 |
Cosine |
Float32 |
|
damo/nlp_structbert_faq-question-answering_chinese-gov-base |
768 |
Cosine |
Float32 |
|
说明
关于StructBERT FAQ问答模型更多信息请参考:
使用示例
说明
需要进行如下替换代码才能正常运行:
-
使用上表中模型ID替换示例中的{model_id}
说明
本示例中,向量入库DashVector和向量检索代码,参考
中的通用示例部分更多文本向量模型
模型名称 |
模型ID |
向量维度 |
度量方式 |
向量数据类型 |
备注 |
Bert实体向量-中文-通用领域-base |
damo/nlp_bert_entity-embedding_chinese-base |
768 |
Cosine |
Float32 |
|
英文文本向量表示模型-TextRetrieval |
damo/nlp_minilm_ibkd_sentence-embedding_english-msmarco |
384 |
Cosine |
Float32 |
|
英文文本向量表示模型MiniLM-IBKD-STS |
damo/nlp_minilm_ibkd_sentence-embedding_english-sts |
384 |
Cosine |
Float32 |
|
text2vec-base-chinese |
thomas/text2vec-base-chinese |
768 |
Cosine |
Float32 |
|
text2vec-large-chinese |
thomas/text2vec-large-chinese |
1024 |
Cosine |
Float32 |
|
说明
-
列表中模型示例同
,进行相应模型ID和向量维度替换即可运行 -
更多ModelScope社区中的开源文本向量模型在本文中不再一一列举,更多文本向量模型待您探索、发现和共建,
。