随笔分类 - 深度学习
摘要:> 基于`torch.nn`搭建神经网络的基础教程大纲: ## **1. 引言** 在我们开始深入探讨`torch.nn`之前,我们首先需要理解PyTorch及其神经网络库的基础知识。这一部分的内容将帮助你对PyTorch有一个整体的了解。 ### 1.1 **为什么选择PyTorch?** - *
阅读全文
摘要:虽然doccano的自动标注使用默认的UIE模型可以识别出一定的实体,但是在特定领域或者因为实体类别名不能被理解很多实体是识别不了的,所以我们可以通过自己标注的数据对模型进行微调来满足我们Auto Labeing的需求。 预处理doccano标注的数据 该章节详细说明如何通过doccano.py脚本
阅读全文
摘要:doccano安装与配置 首先,本地安装教程有太多了,我就不详细写了。而且我本地也没成功run起来,但是想到标数据这种活怎么能一个人干呢?所以还是部署在服务器上比较好,添加几个用户之后访问服务器搭建的网站大家就可以一起愉(痛)快(苦)的标数据了,还可以比比谁标得快! 正式开始: 我们首先进入docc
阅读全文
摘要:本文适用于电脑有GPU(显卡)的同学,没有的话直接安装cpu版是简单的。CUDA是系统调用GPU所必须的,所以教程从安装CUDA开始。 可以配合视频教程食用:https://www.bilibili.com/video/BV12m4y1m7pq/?vd_source=06e4e8652ea90d79
阅读全文
摘要:机器学习第一次作业 1. 若样本的预测标签和真实标签如下:请给出Acc,Precision 和Recall [预测标签,真实标签] [ 1, 1], [ 1, 0], [ 1, 1], [ 0, 1], [ 1, 0], [ 1, 1], [ 0, 0], [ 1, 1], [ 1, 0], [ 0
阅读全文
摘要:昨夜突然刷到一条讲解LSTM的推送,其中一张图让我彻底明白了LSTM的输入模式。 下面放链接: 可视化理解LSTM (qq.com) [LSTM模型结构的可视化 - 知乎 (zhihu.com)](
阅读全文
摘要:收藏两篇文章,就不自己写了: 详解Transformer (Attention Is All You Need) - 知乎 (zhihu.com) Self-Attention和Transformer - machine-learning-notes (gitbook.io)
阅读全文
摘要:发现已经有人总结了,难得复制了,直接贴链接:一文读懂注意力机制 - 知乎 (zhihu.com)
阅读全文
摘要:给神经网络增加记忆能力 前馈神经网络: 相邻两层之间存在单向连接,层内无连接 有向无环图 输入和输出的维数都是固定的,不能任意改变 (全连接前馈网络)无法处理变长的序列数据 可计算问题: 时延神经网络: 时延神经网络(Time Delay Neural Network,TDNN) 建立一个额外的延时
阅读全文
摘要:神经元 激活函数的性质 连续并可导(允许少数点上不可导)的非线性函数。 可导的激活函数可以直接利用数值优化的方法来学习网络参数。 激活函数及其导函数要尽可能的简单 有利于提高网络计算效率。 激活函数的导函数的值域要在一个合适的区间内 不能太大也不能太小,否则会影响训练的效率和稳定性。 单
阅读全文
摘要:分词与词向量 自然语言处理简介 自然语言处理概况 什么是自然语言处理? 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算
阅读全文
摘要:**RNN对具有序列特性的数据非常有效,它能挖掘数据中的时序信息以及语义信息,**利用了RNN的这种能力,使深度学习模型在解决语音识别、语言模型、机器翻译以及时序分析等NLP领域的问题时有所突破。 参考文献1:史上最详细循环神经网络讲解(RNN/LSTM/GRU) - 知乎 (zhihu.com)
阅读全文
摘要:有的时候我们找遍了全网却难以找到一张模糊图片的原图,这时候我们想如果能够一键将图片变成高清的就好了。其实这正是计算机视觉的一大研究反向——图形增强,通过AI计算将模糊的图片增强,将几百kb的低像素图片变成数Mb的超清图片,今天我们就来分享一款免费开源的基于AI的图片增强软件——Upscayl。 Up
阅读全文
摘要:你是否想拥有一个专属画师,免费为你的优美文字插上几幅优美的插图?如今已然实现 最近AI作画确实很火,在DALL-E和Imagen崭露头角之后,ERNIE-ViLG、Stable-Diffusion(SD)、Disco-Diffusion相继开源开放,涌现出丰富多彩的AI作画作品。本次通过一个开源工具
阅读全文
摘要:在很多博客和知乎中我看到了许多对于pytorch框架中RNN接口的一些解析,但都较为浅显甚至出现一些不准确的理解,在这里我想阐述下我对于pytorch中RNN接口的参数的理解。 我们经常看到的RNN网络是如图下所示: RNN的 1. timestep训练过程 这个左边图中间循环的箭头难以理解,所以将
阅读全文
摘要:一个开源的机器学习框架,加速了从研究原型到生产部署的路径。 !pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple import torch import numpy as np Basics 就像Tensorflow一样,我们也
阅读全文
摘要:Sentiment classification using LSTM 在这个笔记本中,我们将使用LSTM架构在电影评论数据集上训练一个模型来预测评论的情绪。首先,让我们看看什么是LSTM? LSTM,即长短时记忆,是一种序列神经网络架构,它利用其结构保留了对前一序列的记忆。第一个被引入的序列模型是
阅读全文
摘要:开源的学习资源:《NLP 新手入门指南》,项目作者为北京大学 TANGENT 实验室成员。 该指南主要提供了 NLP 学习入门引导、常见任务的开发实现、各大技术教程与文献的相关推荐等内容,是一份非常全的适合新手小白初学入门的权威指南。 值得mark! 以下正文: 本教程供新加入 TANGENT 实验
阅读全文
摘要:信息论(Information Theory) “信息”是指一组消息的集合。 假设在一个噪声通道上发送消息,我们需要考虑如何对每一个信息进行编码、传输以及解码,使得接收者可以尽可能准确地重构出消息。 信息论将信息的传递看作一种统计现象。 信息传输 信息压缩 熵(Entropy) 在信息论中,熵用来衡
阅读全文
摘要:神经网络与深度学习绪论 人工智能的一个子领域 神经网络:一种以(人工)神经元为基本单元的模型 深度学习:一类机器学习问题,主要解决贡献度分配问题 知识结构 学习路线图 预备知识 线性代数 微积分 数学优化 概率论 信息论 推荐课程 斯坦福大学CS224n: Deep Learning for Nat
阅读全文