摘要:
1. 读文件 f.readlines()和f.read().splitlines()的区别:f.readlines()和f.read().splitlines()都是返回一个list,f.readlines()后面有加\n,f.read().splitlines()没有\n 2. np.unique 阅读全文
摘要:
H5转化tflite 注意事项: 1.H5文件必须为整个模型(包含权重,模型结构,配置信息),若是权值h5文件,会加载不出模型 模型训练时,ModelCheckpoint设置参数save_weights_only=False; save_weights_only : 如果为 True,则仅保存模型的 阅读全文
摘要:
模型微调 微调模型的方法: 1.特征提取(仅改变最后的输出层):去掉输出层,将剩下的整个网络当做一个固定的特征提取机,应用到新的数据集中 2.采用预训练模型的结构(采用预训练模型的结构,所有的权重初始化,重新训练) 3.训练特定层,冻结其他层(将模型起始的一些层的权重保持不变,重新训练后面的层,得到 阅读全文
摘要:
(True Positive , TP):被模型预测为正的正样本。 (False Positive , FP):被模型预测为正的负样本。 (False Negative , FN):被模型预测为负的正样本。 (True Negative , TN):被模型预测为负的负样本。 Recall召回率:真正 阅读全文
摘要:
Python 编码 ASCII编码:一个字节表示; 最早只有127个字符被编码到计算机里,也就是大小写英文字母、数字和一些符号; 处理中文显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突,所以,中国制定了GB2312编码,用来把中文编进去; 其他语言:日本把日文编到Shift_ 阅读全文
摘要:
NLP 一. 词向量 表示词的向量,可认为是词的特征向量或表征 词嵌入,把词映射为实数域向量 离散表示: One-hot表示 词袋模型:通过先构建一个包含语料库中所有词的词典,然后根据词典完成对每个词的向量化,进而完成文本向量化。 问题:维度灾难;未保留次序;语义鸿沟(通过向量无法表示两个词是否为同 阅读全文
摘要:
意图识别 意图识别是通过分类的办法将句子或者我们常说的query分到相应的意图种类。 词嵌入:将词语转换为数值形式,或者说,嵌入到一个数学空间,Word2vec是词嵌入的一种; 基于词向量的意图识别: 将词向量作为词法特征进行意图分类—基于词向量的意图分类方法对不同分类内容的表征能力和领域扩展性更好 阅读全文
摘要:
智能客服系统架构 技术目标:以一定比例的解决客户的简单的高频问题,将疑难问题交给人工客服团队; (比例根据不同场景及不同的技术条件而不同) 工作原理 对话管理系统可以选择一个机器人将问题发过去,也可以同时将问题发给所有的机器人,当它们都回复答案时,进行答案选择再返回,使用哪种方式取决于厂商自己的一个 阅读全文
摘要:
智能客服机器人实践之单轮对话 单轮对话,即一问一答,问题用一句话描述,不依赖于上下文。单轮问答依赖于一个知识库/问答对集合。机器人从知识库里检索相似的问题,给出答案。 难点: 识别同一问题的不同表达方式:输入标准问法,自动识别其他的近似问法,返回一个相同答案; 理解语义细微差别,处理差异化问法(一两 阅读全文
摘要:
阿里-对话机器人 阿里小蜜智能人机交互构建技术实践 1.面向3类业务划分并建立技术体系:问答型,任务型,闲聊型 2.语义意图识别方法: 3.意图识别分类 传统机器学习:多分类模型(贝叶斯/knn/最大熵)适用简单且分类数稳定领域 二分类模型(按意图领域做多个二分类svm)适用领域分类相对独立,并需要 阅读全文