2024年1月24日

【2024竞赛】寒假第一周

摘要: 写一份《竞赛计划》文档,周日(2024.1.28)前完成。 竞赛计划 1. 参赛题目、赛道 2. 队员分工、团队命名 3. 时间规划,写清楚每个阶段的最后期限 4. 技术储备,目前已掌握的技术和需要寒假学习的技术 5. 概要设计,简单勾画出项目整体框架结构图,辅以文字说明 至少应包含以上内容,更多内 阅读全文

posted @ 2024-01-24 10:10 HBU_DAVID 阅读(22) 评论(0) 推荐(0) 编辑

2023年12月26日

人工智能竞赛筹备

摘要: 文件下载_共青团河北大学委员会 (hbu.cn) A类: 挑战杯,互联网+ B类: 中国高校计算机大赛 2023 高校人工智能创意赛(C4-AI) (baidu.com) 报名要求本届竞赛面向中国及境内外高等学校在读学生(含本科、硕博研究生等)。 具体要求如下:1、参赛队员不限专业;2、可单人参赛或 阅读全文

posted @ 2023-12-26 14:42 HBU_DAVID 阅读(73) 评论(0) 推荐(0) 编辑

2022年12月29日

Transformer:编码器

摘要: 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-29 10:23 HBU_DAVID 阅读(65) 评论(0) 推荐(0) 编辑

Transformer:位置编码

摘要: 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-29 09:41 HBU_DAVID 阅读(167) 评论(0) 推荐(0) 编辑

2022年12月28日

评价语言模型的预测性能的指标:困惑度

摘要: 斋藤康毅 深度学习进阶:NLP 学习笔记 阅读全文

posted @ 2022-12-28 00:03 HBU_DAVID 阅读(50) 评论(0) 推荐(0) 编辑

2022年12月21日

无监督学习

摘要: 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-21 17:10 HBU_DAVID 阅读(34) 评论(0) 推荐(0) 编辑

2022年12月20日

深度生成模型

摘要: 邱锡鹏 NNDL 学习笔记 首先应明白什么是生成模型。 了解生成模型的两个模块:(概率)密度估计,生成样本(采样)。 在密度估计或生成样本的时候,采用神经网络的方法,就是深度生成模型。 密度估计使用NN,典型代表VAE; 生成样本使用NN,典型代表GAN。 【人工智能导论:模型与算法】生成式模型 | 阅读全文

posted @ 2022-12-20 23:18 HBU_DAVID 阅读(133) 评论(0) 推荐(0) 编辑

2022年12月19日

序列生成模型

摘要: 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-19 23:55 HBU_DAVID 阅读(47) 评论(0) 推荐(0) 编辑

2022年12月14日

NLP:14.1 词嵌入(Word2vec)李沐

摘要: 李沐 动手学深度学习 学习笔记 词向量是⽤于表⽰单词意义的向量,并且还可以被认为是单词的特征向量或表⽰。 将单词映射到实向量的技术称为词嵌⼊。近年来,词嵌⼊逐渐成为⾃然语⾔处理的基础知识。 虽然独热向量很容易构建,但它们通常不是⼀个好的选择。 ⼀个主要原因是独热向量不能准确表达不同词之间的相似度,⽐ 阅读全文

posted @ 2022-12-14 22:54 HBU_DAVID 阅读(161) 评论(0) 推荐(0) 编辑

NLP :词向量 word2vec(CBOW、skip-gram)斋藤康毅

摘要: 斋藤康毅 深度学习进阶 学习笔记 自然语言处理(Natural Language Processing,NLP) 顾名思义,就是处理自然语言的科学。 简单地说,它是一种能够让计算机理解人类语言的技术。 换言之,自然语言处理的目标就是让计算机理解人说的话,进而完成对我们有帮助的事情。 语料库 单词的分 阅读全文

posted @ 2022-12-14 21:33 HBU_DAVID 阅读(174) 评论(0) 推荐(0) 编辑

Transformer:编码器6层 解码器6层

摘要: 编码器解码器层数必须要相等么? 层数是越多越好么? 各层之间的参数共享么? 1706.03762.pdf (arxiv.org) Transformer模型详解(图解最完整版) - 知乎 (zhihu.com) 阅读全文

posted @ 2022-12-14 00:32 HBU_DAVID 阅读(320) 评论(0) 推荐(0) 编辑

2022年12月13日

掩蔽自注意力

摘要: 邱锡鹏: 通过一个掩码(Mask)来阻止每个位置选择其后面的输入信息.这种方式称为掩蔽自注意力(Masked Self-Attention). 李沐: 解码器中的每个位置只能考虑该位置之前的所有位置。这种掩蔽(masked)注意⼒保留了⾃回归(auto-regressive)属性,确保预测仅依赖于已 阅读全文

posted @ 2022-12-13 23:34 HBU_DAVID 阅读(448) 评论(0) 推荐(1) 编辑

Transformer 必备知识点

摘要: NNDL 学习笔记 transformer:基于多头自注意力的序列到序列的模型 前馈神经网络 全连接 ResNet残差连接 层归一化 Softmax 编码器-解码器 注意力机制 自注意力模型 多头自注意力 掩蔽自注意力:通过一个掩码(Mask)来阻止每个位置选择其后面的输入信息。掩蔽自注意力 - H 阅读全文

posted @ 2022-12-13 20:49 HBU_DAVID 阅读(125) 评论(0) 推荐(0) 编辑

Self-Attention:Learning QKV step by step

摘要: 邱锡鹏 NNDL 学习笔记 学习自注意力模型不难,研究透彻还是需要花点功夫。 这张图赏心悦目,看上去并不复杂,但其中的细节还需慢慢体会。 1. 为了提高模型能力,自注意力模型经常采用查询-键-值(Query-Key-Value,QKV)模式. 怎么就提高模型能力了呢?为什么用QKV就能提高? NND 阅读全文

posted @ 2022-12-13 12:39 HBU_DAVID 阅读(3394) 评论(0) 推荐(0) 编辑

2022年12月10日

Attention | Self-Attention

摘要: 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-10 17:45 HBU_DAVID 阅读(129) 评论(0) 推荐(0) 编辑

2022年8月23日

NNDL 实验8(下)

摘要: 邱锡鹏,神经网络与深度学习,机械工业出版社,https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 8.3 基于自注意力模型的文本语义匹配 文本语义匹配 {Text Semantic Matching}是一 阅读全文

posted @ 2022-08-23 20:33 HBU_DAVID 阅读(407) 评论(0) 推荐(0) 编辑

NNDL 实验8(上)

摘要: 邱锡鹏,神经网络与深度学习,机械工业出版社,https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第八章 注意力机制 注意力机制(Attention Mechanism)是目前在深度学习中使用非常多的信息 阅读全文

posted @ 2022-08-23 20:31 HBU_DAVID 阅读(648) 评论(0) 推荐(0) 编辑

NNDL 实验7

摘要: 邱锡鹏,神经网络与深度学习,机械工业出版社,https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ # 第7章 网络优化与正则化 神经网络具有非常强的表达能力,但当应用神经网络模型到机器学习时依然存在一些难 阅读全文

posted @ 2022-08-23 20:29 HBU_DAVID 阅读(225) 评论(0) 推荐(0) 编辑

NNDL 实验6(下)

摘要: 邱锡鹏,神经网络与深度学习,机械工业出版社,https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 6.4 实践:基于双向LSTM模型完成文本分类任务 电影评论可以蕴含丰富的情感:比如喜欢、讨厌、等等.情感 阅读全文

posted @ 2022-08-23 20:27 HBU_DAVID 阅读(314) 评论(0) 推荐(0) 编辑

NNDL 实验6(上)

摘要: 邱锡鹏,神经网络与深度学习,机械工业出版社,https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第6章 循环神经网络 循环神经网络(Recurrent Neural Network,RNN)是一类具有短 阅读全文

posted @ 2022-08-23 20:24 HBU_DAVID 阅读(658) 评论(0) 推荐(0) 编辑

导航