02 2020 档案
摘要:学习内容 操作系统笔记整理 计算机网络笔记整理 pytorch学习 操作系统概述 "操作系统概述" 计算机网络概述(一) "计算机网络概述(一)"
阅读全文
摘要:基本功能 进程(CPU)管理 内存管理 设备管理 文件管理 用户接口 定义 操作系统是一个大型系统程序 提供用户接口,方便用户控制计算机; 负责为应用程序分配和调度软硬件资源,并控制与协调应用程序并发活动,帮助用户存取和保护信息。 单道批处理系统 多个作业在磁盘形成作业队列, 操作系统依次处理作业
阅读全文
摘要:学习内容 计算机网络笔记整理 数据库笔记整理 操作系统笔记整理 mysql学习 pytorch 学习 计算机网络笔记整理 数据库笔记整理 "数据库系统概述" "数据模型" 反思: 真的服了我自己了,计划好的笔记整理和pytorch学习全部没有完成。今天花费了大量的时间配置镜像文件。唉,上次恢复快照的
阅读全文
摘要:Kaggle上的图像分类(CIFAR 10) 现在,我们将运用在前面几节中学到的知识来参加Kaggle竞赛,该竞赛解决了CIFAR 10图像分类问题。比赛网址是https://www.kaggle.com/c/cifar 10 PyTorch Version: 1.3.0 获取和组织数据集 比赛数据
阅读全文
摘要:Generative Adversarial Networks Throughout most of this book, we have talked about how to make predictions. In some form or another, we used deep neur
阅读全文
摘要:Deep Convolutional Generative Adversarial Networks we introduced the basic ideas behind how GANs work. We showed that they can draw samples from some
阅读全文
摘要:Kaggle上的狗品种识别(ImageNet Dogs) 在本节中,我们将解决Kaggle竞赛中的犬种识别挑战,比赛的网址是https://www.kaggle.com/c/dog breed identification 在这项比赛中,我们尝试确定120种不同的狗。该比赛中使用的数据集实际上是著名
阅读全文
摘要:样式迁移 如果你是一位摄影爱好者,也许接触过滤镜。它能改变照片的颜色样式,从而使风景照更加锐利或者令人像更加美白。但一个滤镜通常只能改变照片的某个方面。如果要照片达到理想中的样式,经常需要尝试大量不同的组合,其复杂程度不亚于模型调参。 在本节中,我们将介绍如何使用卷积神经网络自动将某图像中的样式应用
阅读全文
摘要:9.3 目标检测和边界框 9.3.1 边界框 9.4 锚框 目标检测算法通常会在输入图像中采样大量的区域,然后判断这些区域中是否包含我们感兴趣的目标,并调整区域边缘从而更准确地预测目标的真实边界框(ground truth bounding box)。不同的模型使用的区域采样方法可能不同。这里我们介
阅读全文
摘要:9.2 微调 在前面的一些章节中,我们介绍了如何在只有6万张图像的Fashion MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet,它有超过1,000万的图像和1,000类的物体。然而,我们平常接触到数据集的规模通常在这两者之间。 假设我们想从图像中
阅读全文
摘要:图像增广 在5.6节(深度卷积神经网络)里我们提到过,大规模数据集是成功应用深度神经网络的前提。图像增广(image augmentation)技术通过对训练图像做一系列随机改变,来产生相似但又不同的训练样本,从而扩大训练数据集的规模。图像增广的另一种解释是,随机改变训练样本可以降低模型对某些属性的
阅读全文
摘要:文本情感分类 文本分类是自然语言处理的一个常见任务,它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题:使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析,并有着广泛的应用。 同搜索近义词和类比词一样,文本分类也属于词嵌入的下游应用。在本节中,我们将应用预训练的词向量和含多个隐
阅读全文
摘要:自动求梯度 在深度学习中,我们经常需要对函数求梯度(gradient)。PyTorch提供的 "autograd" 包能够根据输入和前向传播过程自动构建计算图,并执行反向传播。本节将介绍如何使用autograd包来进行自动求梯度的有关操作。 概念 上一节介绍的 是这个包的核心类,如果将其属性 设置为
阅读全文
摘要:数据操作 在深度学习中,我们通常会频繁地对数据进行操作。作为动手学深度学习的基础,本节将介绍如何对内存中的数据进行操作。 在PyTorch中, 是存储和变换数据的主要工具。如果你之前用过NumPy,你会发现 和NumPy的多维数组非常类似。然而, 提供GPU计算和自动求梯度等更多功能,这些使 更加适
阅读全文
摘要:1.表达形式: 一个示例有 d d" role="presentation" dd dd个属性:x& x20D7;=(x1,x2,...,xd) \vec{x}=(x_1, x_2,...,x_d)" role="presentation" x⃗ =(x1,x2,...,xd)x⃗=(x1,x2,.
阅读全文
摘要:概述 感知机分类一文中提到了感知机模型在分类问题上的应用,如果,我们需要将其使用于回归问题呢,应该怎样处理呢? 其实只要修改算法的最后一步, sign(x)={+1,x& x2265;0& x2212;1,x<0(1.1) sign(x)=\left\{\begin{matrix}+1 &am
阅读全文
摘要:今日学习 ML补代码 pytorch学习 项目 阅读 懒得上传这些东西了,代码截图了,还没写完 "线性回归" 代码截图
阅读全文
摘要:梯度下降 ( "Boyd & Vandenberghe, 2004" ) 一维梯度下降 证明:沿梯度反方向移动自变量可以减小函数值 泰勒展开: $$ f(x+\epsilon)=f(x)+\epsilon f^{\prime}(x)+\mathcal{O}\left(\epsilon^{2}\rig
阅读全文
摘要:优化与深度学习 优化与估计 尽管优化方法可以最小化深度学习中的损失函数值,但本质上优化方法达到的目标与深度学习的目标并不相同。 优化方法目标:训练集损失函数值 深度学习目标:测试集损失函数值(泛化性) %matplotlib inline import sys sys.path.append('/h
阅读全文
摘要:批量归一化(BatchNormalization) 对输入的标准化(浅层模型) 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化(深度模型) 利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的
阅读全文
摘要:11.6 Momentum 在 "Section 11.4" 中,我们提到,目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此,梯度下降也叫作最陡下降(steepest descent)。在每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量
阅读全文
摘要:词嵌入基础 我们在 "“循环神经网络的从零开始实现”" 一节中使用 one hot 向量表示单词,虽然它们构造起来很容易,但通常并不是一个好选择。一个主要的原因是,one hot 词向量无法准确表达不同词之间的相似度,如我们常常使用的余弦相似度。 Word2Vec 词嵌入工具的提出正是为了解决上面这
阅读全文
摘要:词嵌入进阶 在 "“Word2Vec的实现”" 一节中,我们在小规模数据集上训练了一个 Word2Vec 词嵌入模型,并通过词向量的余弦相似度搜索近义词。虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量,并能一定程度上地保存词与词之间的近似关系,但 Word2Vec 模型仍不是完
阅读全文
摘要:今日学习 项目有关(dlib库学习, 看论文, 测试代码) 5h pytorch学习 2h ml代码 2h 阅读 pytorch 学习 "翻我牌子" dlib代码 "翻我牌子" 今日感想 1.花了一个月的时间证明在家学习效率感人。 幸好强迫自己每天打卡,不然真的要躺成废物了。今天,零零散散的玩了3h
阅读全文
摘要:今日学习 做项目(测试代码,找方案) 6h pytorch学习 2h 阅读 dlib代码 "翻我牌子" 修改了项目中的一些代码
阅读全文
摘要:接收不定长参数 接受不定长键值对 first normal arg: yasoob another arg through argv: python another arg through argv: eggs another arg through argv: test arg3 == 3 arg
阅读全文
摘要:今日学习 python高级编程, 整理成笔记 1984 读书笔记 pytorch深度学习 项目 4h Python 进阶 "Python 进阶" 一九八四 "一九八四" 代码已提交到github
阅读全文
摘要:深度卷积神经网络(AlexNet) LeNet: 在大的真实数据集上的表现并不尽如⼈意。 1.神经网络计算复杂。 2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。 机器学习的特征提取:手工定义的特征提取函数 神经网络的特征提取:通过学习得到数据的多级表征,并逐级表⽰越来越抽象的概念或模式。
阅读全文
摘要:卷积神经网络基础 本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。 二维卷积层 本节介绍的是最常见的二维卷积层,常用于处理图像数据。 二维互相关运算 二维互相关(cross correlation)运算的输入是一个二维输入数组和一个二维核(ker
阅读全文
摘要:course content 1. lenet 模型介绍 2. lenet 网络搭建 3. 运用lenet进行图像识别 fashion mnist数据集 Convolutional Neural Networks 使用全连接层的局限性: 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式
阅读全文
摘要:今日学习 python 高级编程 素描 pytorch深度学习 项目 阅读 pytorch 打卡 "pytorch 打卡" 阅读
阅读全文
摘要:打开"运行"对话框(Win+R),输入cmd,打开控制台命令窗口... 也可以通过cmd /c 命令 和 cmd /k 命令的方式来直接运行命令 注:/c表示执行完命令后关闭cmd窗口;/k表示执行完命令后保留cmd窗口 # 控制台命令窗口中一些技巧 复制内容:右键弹出快捷菜单,选择“标记(K)”,
阅读全文
摘要:注意力机制 在“编码器—解码器(seq2seq)”⼀节⾥,解码器在各个时间步依赖相同的背景变量(context vector)来获取输⼊序列信息。当编码器为循环神经⽹络时,背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码,然后将其传递给解码器以生成目标序列。然而这种结构存在着问
阅读全文
摘要:GRU RNN存在的问题:梯度较容易出现衰减或爆炸(BPTT) ⻔控循环神经⽹络:捕捉时间序列中时间步距离较⼤的依赖关系 RNN : GRU : $$ R_{t} = σ(X_tW_{xr} +
阅读全文
摘要:Transformer 在之前的章节中,我们已经介绍了主流的神经网络架构如卷积神经网络(CNNs)和循环神经网络(RNNs)。让我们进行一些回顾: CNNs 易于并行化,却不适合捕捉变长序列内的依赖关系。 RNNs 适合捕捉长距离变长序列的依赖,但是却难以实现并行化处理序列。 为了整合CNN和RNN
阅读全文
摘要:机器翻译和数据集 机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 ['fraeng6506', 'd2l9528', 'd2l6239'] 数据预处理
阅读全文
摘要:今日学习 1.pytorch深度学习 2.python高级编程 3.图像处理笔记整理 4.阅读 1.pytorch深度学习 "机器翻译" "Transformer" cv笔记整理 "笔记地址" 过一个平凡无趣的人生实在太容易了,你可以不读书,不冒险,不运动,不写作,不外出,不折腾……但是,人生最后悔
阅读全文
摘要:过拟合、欠拟合及其解决方案 1. 过拟合、欠拟合的概念 2. 权重衰减 3. 丢弃法 模型选择、过拟合和欠拟合 训练误差和泛化误差 在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出
阅读全文
摘要:梯度消失、梯度爆炸以及Kaggle房价预测 1. 梯度消失和梯度爆炸 2. 考虑到环境因素的其他问题 3. Kaggle房价预测 梯度消失和梯度爆炸 深度模型有关数值稳定性的典型问题是消失(vanishing)和爆炸(explosion)。 当神经网络的层数较多时,模型的数值稳定性容易变差。 假设一
阅读全文
摘要:今日学习 pytorch 学习 图像处理笔记整理 阅读 pytorch笔记 "过拟合、欠拟合及其解决方案" "梯度消失、梯度爆炸以及Kaggle房价预测" 图像处理笔记整理
阅读全文
摘要:循环神经网络 本节介绍循环神经网络,下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列,预测序列的下一个字符。循环神经网络引入一个隐藏变量,用表示在时间步的值。的计算基于和,可以认为$H
阅读全文
摘要:文本预处理 文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤: 1. 读入文本 2. 分词 3. 建立字典,将每个词映射到一个唯一的索引(index) 4. 将文本从词的序列转换为索引的序列,方便输入模型 读入文本 我们用一部英文小说
阅读全文
摘要:多层感知机 1. 多层感知机的基本知识 2. 使用多层感知机图像分类的从零开始的实现 3. 使用pytorch的简洁实现 多层感知机的基本知识 深度学习主要关注多层模型。在这里,我们将以多层感知机(multilayer perceptron,MLP)为例,介绍多层神经网络的概念。 隐藏层 下图展示了
阅读全文
摘要:softmax和分类模型 内容包含: 1. softmax回归的基本概念 2. 如何获取Fashion MNIST数据集和读取数据 3. softmax回归模型的从零开始实现,实现一个对Fashion MNIST训练集中的图像数据进行分类的模型 4. 使用pytorch重新实现softmax回归模型
阅读全文
摘要:线性回归 主要内容包括: 1. 线性回归的基本要素 2. 线性回归模型从零开始的实现 3. 线性回归模型使用pytorch的简洁实现 线性回归的基本要素 模型 为了简单起见,这里我们假设价格只取决于房屋状况的两个因素,即面积(平方米)和房龄(年)。接下来我们希望探索价格与这两个因素的具体关系。线性回
阅读全文
摘要:今日学习 深度学习刷视频 3h 图像处理笔记整理《运动对象检测和描述》 3h 阅读《1984》 2h 深度学习刷视频笔记 "深度学习刷视频笔记" 图像处理代码 "图像处理代码" 阅读完成 所谓的自由就是可以说二加二等于四的自由。
阅读全文
摘要:今日学习 ML代码 CV笔记 深度学习刷视频 ML代码地址 "ML代码地址" CV笔记地址 "CV笔记地址"
阅读全文
摘要:今日学习 刷深度学习视频 "视频地址" 整理图像处理笔记 "笔记地址" 做项目 "代码" 今日反思 总结一下这几天学习效率低下,不想学习的原因。 1.最近赖床情况越来越严重了,明天一定早起! 2.这几天刷剧有点控制不住了,估计一天十集?快点相办法控制住啊啊啊, 又可能最好的办法就是把这部剧刷完? 3
阅读全文
摘要:今日学习 搭建pytorch环境 刷课 "ElitesAI·动手学深度学习PyTorch版" ML补代码 "ML代码地址, 欢迎贡献代码!" cv笔记整理 "笔记地址"
阅读全文
摘要:今日学习 ML补代码 图像处理笔记整理 项目 图像处理笔记 "目标描述" "纹理描述、分割" "运动对象检测和描述" ML代码地址 "欢迎一起来贡献代码"
阅读全文
摘要:今日学习 笔记整理 3h ML补代码 3h 项目 3h 代码地址 "代码地址" 图像处理笔记 概述 阈值处理和背景减法 "opencv利用帧差法背景差分实现运动目标检测" "python OpenCV之阈值处理" 模板匹配 "opencv python 模板匹配" "Python+OpenCV教程1
阅读全文
摘要:元宵节快乐呀! 今日学习 ML继续补代码 3h 图像处理那本书继续看 3h 搜索和项目有关的东西 3h 代码地址 "代码地址" 图像处理笔记 边缘检测( Edge detection) "深入学习OpenCV中几种图像边缘检测算子" 一阶边缘检测算子(First order edge detecti
阅读全文
摘要:今日学习 Linux 3h ML算法 3h 项目 3h ML代码地址 "ML代码地址" 基本图像处理整理 概述 直方图(Histograms) The intensity histogram shows how individual brightness levels are occupied in
阅读全文
摘要:决策树模型 内部节点表示一个特征或者属性,叶子结点表示一个类。决策树工作时,从根节点开始,对实例的每个特征进行测试,根据测试结果,将实例分配到其子节点中,这时的每一个子节点对应着特征的一个取值,如此递归的对实例进行测试并分配,直到达到叶节点,最后将实例分配到叶节点所对应的类中。 决策树具有一个重要的
阅读全文
摘要:今日学习 1.整理linux笔记 3h 2.写一篇关于树的博客,附相关代码 3h 3.看图像处理那本书 2h 上午花了一上午的时间,然后幸运的你看到了现在博客的界面, 花里胡哨,像极了我的风格。 html代码我保留了,需要的话可以分享哦。 Linux笔记(三)——Shell编程 "Linux笔记(三
阅读全文
摘要:预备知识 1.Shell是解释执行的脚本语言,可以直接调用Linux系统命令 2.文件以.sh结尾, !bin/bash 标识, 说明这是一个shell脚本, 不能省略 3.执行 赋予权限,直接运行 bash 4.命令执行顺序 (1).绝对路径或相对路径执行的命令 (2).别名【临时:alias v
阅读全文
摘要:Linux笔记(二) 一.软件包管理 1.rpm命令使用: "Linux安装软件包的三种方法" rpm工具类似于Windows的exe文件,可以直接进行安装,而且安装路径和文件名一般都是固定好的。 在CentOS和Red Hat下的安装包一般称为rpm包。 安装 $rpm ivh 包全名 |选项|作
阅读全文
摘要:今日学习 1.shell编程 2.决策树代码 3.笔记整理 4.项目 笔记整理 "Linux笔记(二)" 代码明天并博客一起发出来
阅读全文
摘要:今日学习 1.Anaconda博客 2.linux学习 3.ML学习 4.图像处理 "Anaconda使用" linux 挂载 查看挂载 mount, df lost+found 自动备份目录 mount a 查看写对了没有 shell编程 代码没补完, 午觉睡过头了, 晚上又玩嗨了, 自责一秒钟。
阅读全文
摘要:一.为什么要使用Anaconda 学Python的时候, 经常用到的就是import各种包, 开源库的功能真的很强大,用起来真的很香,各种包调来调去省了很多事。最著名的几个库当然是numpy、matplotlib、Tensroflow等等。但是,其缺点也是很明显的,如,各种库经常存在不兼容的问题,库
阅读全文
摘要:Sublime 快捷键 多行快速选择文本 Ctrl+D:选中光标所占的文本,继续操作则会选中下一个相同的文本。(非常实用) Ctrl K, Ctrl D:把当前选中所占文本的光标,跳转到下一个相同文本。(配合Ctrl+D很实用) Alt F3:一次性选中(当前选中的文本)相同的文本。等于多次实用Ct
阅读全文
摘要:pycharm编辑快捷键 序号 快捷键 作用 1 CTRL + ALT + SPACE 快速导入任意类 2 CTRL + SHIFT + ENTER 代码补全 3 SHIFT + F1 查看外部文档 4 CTRL + Q 快速查找文档 5 CTRL + P 参数信息(在方法中调用的参数) 6 CTR
阅读全文
摘要:今日学习 1. linux脚本编程 3h 2. 补ML代码 3h 3. 项目 3h linux 文件系统管理 1,2,3,4只能给主分区,逻辑分区从5开始 格式化:为了写入文件系统 shell编程 !bin/bash 标识, 说明这是一个shell脚本, 不能省略 cat A 查看文件完整格式,wi
阅读全文
摘要:今日学习 1. linux脚本编程 3h 2. 补ML代码 3h 3. 项目 3h linux 文件系统管理 1,2,3,4只能给主分区,逻辑分区从5开始 格式化:为了写入文件系统 shell编程
阅读全文
摘要:今日学习 1.linux 3h 2.EM算法 3h 3.CodeWars刷题 2h 4。阅读 1h linux 权限管理 ACL权限:解决用户不足的问题 shell编程 后缀 .sh 运行 1.更改权限后 ./test.sh 2./bin/sh test.sh 3.sh test.sh 4.bash
阅读全文
摘要:linux 软件包管理 用户和用户组管理 UID改成0则变成超级用户 每添加一个新的用户自动添加这些文件 ML学习 不懈努力将代码改到60几行,耶! "这是链接"
阅读全文