点击关注我的GitHub
[置顶] Huggingface:trainsformers的PreTrainedTokenizer类
摘要： Huggingface:trainsformers的PreTrainedTokenizer类 PreTrainedTokenizer类是所有分词类Tokenizer的基类，这个类不能够被实例化， 所有的transformers中预训练模型的分词器（例如BertTokenizer,RoBerta Tokenizer）等等都 继承自PreTrainedTokenizer类，并且实现了基类的方法。 阅读全文
posted @ 2022-09-02 22:57 justkeen 阅读(621) 评论(0) 推荐(0) 编辑
2022年9月3日
pandas的read_csv使用方法总结
摘要： pandas在读取csv文件的时候是通过reaad_csv这个函数进行函数读取的 f = open('file.csv',encoding='utf-8') cont = pd.read_csv(f) 其中比较重要的是，在读取csv文件的时候文件内的分隔符号和函数中指定的分隔符号 要一致，pd.re 阅读全文
posted @ 2022-09-03 09:38 justkeen 阅读(484) 评论(0) 推荐(0) 编辑
2022年7月29日
Pytorch多GPU并行训练模型
摘要： Pytorch多GPU并行训练模型 如果要用多GPU训练模型，那就要用到pytorch中的nn.DataParallel()函数对模型进行封装。 1 # code_for_use_cuda 2 device_count = torch.cuda.device_count()#获得本机的显卡的个数 3 print("cuda.devic 阅读全文
posted @ 2022-07-29 15:51 justkeen 阅读(630) 评论(0) 推荐(0) 编辑
2022年7月12日
KBQA调研——Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals
摘要： 相较于EmbedKGQA的改变： 疑问：这里和EmbedKGQA并没有区别，怀疑用的源代码的复现文章。 一篇封闭域的KBQA模型——Key Value-Memory networks (KV-MemNN)： 在特定领域的多数据来源——KB或者文章来进行答案的推理 模型首先获得与问句相关的所有的三元组 阅读全文
posted @ 2022-07-12 14:15 justkeen 阅读(97) 评论(0) 推荐(0) 编辑
2022年7月7日
KBQA论文调研：Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases
摘要： KBQA论文调研：Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases KBQA有两种主流的解决方式： （1）SP： 基于 SP 的方法通过构建将 NL 问题转换为中间逻辑形式的语义解析器来解决该问题。 传统的语义解析器需要带注释的逻辑形式作为监督，并且仅限于具有少量逻辑谓词的专用领域。 最近的努力通过构建手工规则或特征 (Abujabal et al., 2017; 阅读全文
posted @ 2022-07-07 11:31 justkeen 阅读(250) 评论(0) 推荐(0) 编辑
2022年7月5日
Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings
摘要： Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings 论文地址ACL2022：Improving Multi-hop Question Answering over Knowledge Graphs using Knowledge Base Embeddings 1.Abstract 知识图谱问答（KGQA）任务是通过图谱来回答自然语言形式的问题。多跳 阅读全文
posted @ 2022-07-05 12:14 justkeen 阅读(369) 评论(0) 推荐(0) 编辑
2022年7月1日
基于知识图谱的问答系统（KBQA）的综述、文献调研
摘要： 本文来自于KBQA-survey的综述类文献 论文写作的大致脉络：本次调查的其余部分组织如下。在第2节中，我们将首先介绍有关任务制定、多个可用数据集和评估协议的初步知识。接下来，我们将在第3节中介绍两种主流的复杂KBQA方法。然后在分类之后，我们在第4节中找出了典型的挑战和解决这些挑战的方法。最后， 阅读全文
posted @ 2022-07-01 13:05 justkeen 阅读(1521) 评论(0) 推荐(0) 编辑
cs224n自然语言处理课后作业——词向量
摘要： 这里介绍的是skip-gram模型的word embedding 要实现两个功能：（1）将维（2）能够体现相似性 O 表示原始onehot编码 O 点乘Embdding Matrix，一般是300维的。 将两者相乘得到的vector放到神经网络中，希望预测上下文词。 未完待续************ 阅读全文
posted @ 2022-07-01 13:04 justkeen 阅读(65) 评论(0) 推荐(0) 编辑
cs224n自然语言处理课后作业——双层神经网络
摘要： cs224n自然语言处理课后作业——双层神经网络 先进行复核的定义： 前向传播： 其中的W[1] = 反向得的传播： 阅读全文
posted @ 2022-07-01 12:49 justkeen 阅读(29) 评论(0) 推荐(0) 编辑
cs224n自然语言处理课后作业——softmax求梯度
摘要： cs224n自然语言处理课后作业——softmax求梯度 作业题目： 实现sigmoid激活函数的求导，求他的梯度。 a = 1+exp(-z) s = 1/a b = exp(-z) a = 1+b c = -z , b = exp(x) 对他们分别求解偏导数： 使用链式求导的规则，最终得到s对z的偏导数。 连式法则： 中间步骤消元： 对上式再次进行化简 阅读全文
posted @ 2022-07-01 12:29 justkeen 阅读(128) 评论(0) 推荐(0) 编辑