摘要: 记录一下日常工作中常用的linux命令,提高工作效率 1、目录切换命令 cd ~ 切换至home所在目录 cd - 切换至上次所在目录 2、身份切换命令 sudo su root 切换root身份,不携带当前用户环境变量 sudo su - root 切换root身份,携带当前用户环境变量 3、网络 阅读全文
posted @ 2023-09-04 11:37 glowwormss 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 模型训练代码:https://github.com/zhoujx4/NLP-Series-sentence-embeddings预训练macbert:https://github.com/ymcui/MacBERT 抱抱脸模型下载:https://huggingface.co/hfl/chinese 阅读全文
posted @ 2023-08-30 15:40 glowwormss 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 1、获取embedding向量 #macber链接https://github.com/ymcui/MacBERT from sklearn.manifold import TSNEfrom matplotlib import pyplot as pltfrom matplotlib.colors 阅读全文
posted @ 2023-08-29 15:45 glowwormss 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 一、jupyter进程查看 import json import os import os.path import posixpath import subprocess import numpy as np import pandas as pd import psutil import requ 阅读全文
posted @ 2023-08-24 17:12 glowwormss 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 一、背景 最近在进行asr部署方案的技术选型工作,主要对比了triton部署与paddle部署两种方案 triton方案链接:https://github.com/wenet-e2e/wenet/tree/main/runtime/gpu paddlespeech方案链接:https://githu 阅读全文
posted @ 2023-08-24 15:55 glowwormss 阅读(381) 评论(0) 推荐(0) 编辑
摘要: 该文主要记录一下常用的python读取wav文件的常用三方库以及优缺点对比,以一段采样率16k,4.99秒单声道的测试语音为例子,音频文件读取后主要有以下几种形式 #格式一:列表 [-0.00015259 -0.00021362 -0.00021362 -0.00027466 -0.00015259 阅读全文
posted @ 2023-08-23 19:03 glowwormss 阅读(589) 评论(0) 推荐(0) 编辑
摘要: 一、背景 有多台服务器都有部署jupyter notebook服务或者jupyter lab服务,可采用nginx进行配置,采用统一的入口,通过不同路由将请求分发到不同机器上 例如分别在10.10.10.10,10.10.10.11,10.10.10.12有部署jupyter服务,现在需要统一入口从 阅读全文
posted @ 2023-08-22 17:41 glowwormss 阅读(294) 评论(1) 推荐(0) 编辑
摘要: ● 一、bert-as-service ● step1: 编译docker镜像需要的文件 ● step2: 编译镜像 ● step3: 启动容器服务命令 ● step4: 导出bert-as-service镜像分发部署 ● 参考 ● 二、torchServe部署bert-as-service ● 环 阅读全文
posted @ 2023-08-22 10:54 glowwormss 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 一、单节点线下测试 拉取镜像 1、 进入实验机器 go 10.10.10.10 2、 拉取es 7.16.2镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.16.2 安装ik分词器 1、 启动容器 docker run - 阅读全文
posted @ 2023-08-22 10:27 glowwormss 阅读(703) 评论(0) 推荐(0) 编辑
摘要: 一、问答机器人介绍 智能问答中最重要得到模块就是要理解用户的咨询意图,并给出专业的咨询回复,结合业务知识库或者知识图谱,应用到不同的业务中去,以低成本的智能客服替代人工服务,满足客户咨询诉求,根据对话伦次可分为单轮FAQ问答式机器人,基于业务规则的多轮对话机器人,基于前文理解的多轮对话机器人等,比如 阅读全文
posted @ 2023-08-21 18:28 glowwormss 阅读(783) 评论(0) 推荐(0) 编辑