摘要: 参考自李宏毅老师的self-atention的课程 pd下载:self-atention、Transformer 理论说明 在NLP中,常用的计算两个向量之间相关性的方法有以下两种: self-attention中用的就是左侧的类型,将两个向量乘以一个可训练权重,然后将结构进行对应相乘,得到最终的相 阅读全文
posted @ 2021-11-23 18:21 xingye_z 阅读(785) 评论(0) 推荐(0) 编辑
摘要: 最近在学习pytorch时,再写一个很简单的代码时一直提示报错,最后终于发现是因为我使用的torch.tensor的原因,换成torch.Tensor问题就解决了。 为了加深学习,这里将二者的区别给出: 在PyTorch文档它被写torch.Tensor是一个别名torch.FloatTensor。 阅读全文
posted @ 2021-11-18 21:00 xingye_z 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 参考自HawardScut 很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据,因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。 (1)如果 reduce = False,那么 si 阅读全文
posted @ 2021-11-18 20:18 xingye_z 阅读(432) 评论(0) 推荐(0) 编辑
摘要: 在这篇文章中,我将对最近阅读的几篇关于可控难度的问题生成的论文进行简单说明,共四篇分别为: 1 Difficulty Controllable Generation of Reading Comprehension Questions. IJCAI, 2019 2 Difficulty-contro 阅读全文
posted @ 2021-11-18 10:17 xingye_z 阅读(1341) 评论(0) 推荐(0) 编辑
摘要: 题目说明 动态路径规划 以s="aab",p="c * a * b"来说明整个的过程 class Solution: def isMatch(self, s: str, p: str): if not p: return not s if not s and len(p) == 1: return 阅读全文
posted @ 2021-11-17 09:01 xingye_z 阅读(42) 评论(0) 推荐(0) 编辑
摘要: ##1 题目说明 ##2 方法一:递归建树,虽然易懂但是不好写 class Solution: def generateParenthesis(self, n: int) -> List[str]: if n <= 0: return [] res = [] #深度优先建树,du'qi def df 阅读全文
posted @ 2021-11-11 20:27 xingye_z 阅读(53) 评论(0) 推荐(0) 编辑
摘要: 本问参考自原文连接 ##1 什么是 Encoder-Decoder ? Encoder-Decoder 模型主要是 NLP 领域里的概念。它并不特值某种具体的算法,而是一类算法的统称。Encoder-Decoder 算是一个通用的框架,在这个框架下可以使用不同的算法来解决不同的任务。 Encoder 阅读全文
posted @ 2021-11-11 12:40 xingye_z 阅读(632) 评论(0) 推荐(0) 编辑
摘要: 参考自原文链接 目的其实就是为了控制变量。 比如说你为了提升baseline的性能,给它加了两个模块A,B,加完之后效果果然提高了很多。于是你急急忙忙开始写论文,写到你的贡献,你给了两条:1.模块A,2.模块B。 但是这样写有个问题:尽管AB同时加上去对模型有提升效果,但是你并没有证明A、B两个模块 阅读全文
posted @ 2021-11-11 10:50 xingye_z 阅读(208) 评论(0) 推荐(0) 编辑
摘要: 1,问题 本文同样是针对QG中,由于答案信息的缺失或使用不当的导致的问题: 生成的问题与答案无关 如果在生成过程中没有适当的指导,尤其是在应用复制机制时,生成的问题中可能会包含答案。 基于以上问题,在本文中,作者提出了一个答案驱动的深度问题生成(ADDQG)模型,它更好地利用目标答案作为指导来促进深 阅读全文
posted @ 2021-11-03 20:06 xingye_z 阅读(364) 评论(0) 推荐(0) 编辑
摘要: 1 问题 下载点此,关于seq2seq和encoder-decoder的一些基础可以参考这里:参考1、参考二此外,要注意所有的公式和图片都是t时刻的(代表每一时刻)不是说是最后时刻的,要区分好文章中的t时刻和最后时刻,每次生成的也都是t时刻的结果(词),还不是最终的结果。 当前的QG模型普遍有以下两 阅读全文
posted @ 2021-10-29 21:54 xingye_z 阅读(182) 评论(0) 推荐(0) 编辑