摘要: Attention Is All You Need 摘要 针对序列转录模型,提出一个新的简单网络结构Transformer,基于纯注意力机制构造的encoder-decoder,不用卷积和RNN,并行度更高训练更快。 导言 当前(2017)主流的序列转录模型:RNN,LSTM,GRU RNN缺点:从 阅读全文
posted @ 2023-09-14 20:02 Aikoin 阅读(24) 评论(1) 推荐(0) 编辑
摘要: 在看Transformer之前,建议先学习一下Self-attention。 同样,这边笔记是参考李宏毅老师的课程和ppt,感兴趣的可以去看原视频~ 补充了Transformer论文精读笔记,建议结合本文食用: ) Sequence-to-Sequence 没错!Transformer是一个sequ 阅读全文
posted @ 2023-09-14 15:43 Aikoin 阅读(42) 评论(0) 推荐(0) 编辑
摘要: 最近想学点NLP的东西,开始看BERT,看了发现transformer知识丢光了,又来看self-attention;看完self-attention发现还得再去学学word embedding... 推荐学习顺序是:word embedding、self-attention / transform 阅读全文
posted @ 2023-09-13 13:45 Aikoin 阅读(25) 评论(1) 推荐(0) 编辑
摘要: 开始跟着代码随想录重新学算法了,计划是按照它的目录一个专题一个专题地刷。 我的文章目录会放在合集里面,按照自己的进度更新,整理出来一些有价值的基础知识和题解代码。使用语言是python,但知识点部分也会涉及C++。 欢迎阅读点赞~ 阅读全文
posted @ 2023-09-07 19:28 Aikoin 阅读(6) 评论(2) 推荐(1) 编辑
摘要: 在将数据的运算转化为向量化运算时,有种快捷方法: 根据想要得到的结果的维数,和当前数据矩阵/向量的维数来构建关系式。 比如结果是一个n*1的向量h,现在有的数据是一个m*n的矩阵X和一个m*1的向量theta,那么很有可能: h = X' * theta (这里的X‘表示X的转置) 向量化可以简化代 阅读全文
posted @ 2021-09-10 20:43 Aikoin 阅读(237) 评论(0) 推荐(1) 编辑
摘要: 看了好久才看懂。。学校教材还有错误,看了别人的博客+别的学校的教材才看懂。。 下面是孤~影的博客内容,最后还会放教材上的图和自己写的代码实现。其实本来是想自己写一篇博客的,奈何最近事情实在是太多了。。以后有时间复习到这边的时候自己写一篇吧~ 看了他的博客看懂了很多,链接:详解KMP算法 什么是KMP 阅读全文
posted @ 2019-04-10 20:50 Aikoin 阅读(3361) 评论(0) 推荐(5) 编辑
摘要: 如下的10个格子 填入0~9的数字。要求:连续的两个数字不能相邻。(左右、上下、对角都算相邻) 一共有多少种可能的填数方案? 请填写表示方案数目的整数。 法一 全排列+check,可以把这个格子当成一个存放0~9的一维数组再进行全排列,把每种不符合要求的条件都列出来check一下: 有一个手动实现全 阅读全文
posted @ 2019-03-23 17:08 Aikoin 阅读(370) 评论(0) 推荐(0) 编辑
摘要: 这题考冷门知识点,提前科普: 下面这段来自C++ reference的printf(),*可作为一个设置输出宽度的占位符: 翻译了一下: (number) 要打印的最小字符数。如果要打印的值小于此数字,则结果将用空格填充。即使结果更大,也不会截断该值。 * 宽度不是在格式字符串中指定的,而是作为必须 阅读全文
posted @ 2019-03-22 21:43 Aikoin 阅读(325) 评论(0) 推荐(0) 编辑
摘要: 题意:一个数字的平方和立方刚好把0~9的10个数字每个用且只用了一次,问这个数字是多少。 题目不难,看到的方法觉得挺巧妙的,用了set不会加入重复元素的特点,把数的平方和立方转成字符串后拼接,按字符放进set中,若拼接后的字符串长度和set中元素个数都为10,说明刚好把0~9这10个数字用且只用了一 阅读全文
posted @ 2019-03-22 20:27 Aikoin 阅读(417) 评论(0) 推荐(0) 编辑
摘要: A A 2 2 3 3 4 4, 一共4对扑克牌。请你把它们排成一行。 要求:两个A中间有1张牌,两个2之间有2张牌,两个3之间有3张牌,两个4之间有4张牌。 请填写出所有符合要求的排列中,字典序最小的那个。 例如:22AA3344 比 A2A23344 字典序小。当然,它们都不是满足要求的答案。 阅读全文
posted @ 2019-03-20 17:02 Aikoin 阅读(215) 评论(0) 推荐(0) 编辑