2021年9月11日
PyTorch笔记--动量(Momentum)
摘要： 动量是一个能够对抗鞍点和局部最小值的技术。 下面我们来看更新梯度的方法。首先选取一个初始值theta0，计算Loss在theta0处的梯度g0，然后根据公式 teata1=teta0-aita*g0，得到的theta1就是更新后的参数。 引入动量后的参数更新，不仅要考虑当前的梯度，还要考虑之前所有的 阅读全文
posted @ 2021-09-11 16:19 奋斗的小仔 阅读(504) 评论(0) 推荐(0)
PyTorch笔记-Small Batch VS Large Batch
摘要： 下面是李宏毅老师总结的表格。小批次和大批从中的这个大和小的概念指的是一个批次中数据个数的多少。 下面内容是对这个表格的解释。 ①在无并行处理的情况下，小批次的数据处理的更快，大批次的数据处理地慢一些（处理完一次后就进行一次参数的更新）。 ②GPU具有并行处理数据的能力，在并行处理的情况下，小批次数据 阅读全文
posted @ 2021-09-11 15:57 奋斗的小仔 阅读(406) 评论(0) 推荐(0)
PyTorch笔记--shuffle=True
摘要： 在机器学习中，我们会将数据集分成很多个批次来训练。每次抛出一个批次的数据来计算损失函数，再根据损失函数计算参数的梯度。 再根据梯度来更新参数。然后数据加载器会接着抛出下一个批次的数据来计算损失函数，。。。 如下图所示，起初随机选择一个参数的初值theta0。损失函数L1是参数theta0的表达式，根 阅读全文
posted @ 2021-09-11 13:32 奋斗的小仔 阅读(1833) 评论(0) 推荐(0)
2021年9月3日
机器学习--深度学习基本概念
摘要： 根据李宏毅老师机器学习课程所做的笔记。 函数y=wx+b，输入与输出之间是一个线性的关系。改变w可以改变直线的斜率，改变b可以改变直线的截距。 但是如果想要刻画上图中的红色直线是困难的。这条红色的曲线应该怎么表示呢？ 红色的曲线可以表示为图中蓝色曲线的和。 蓝色曲线(Hard Sigmoid)的特征 阅读全文
posted @ 2021-09-03 20:52 奋斗的小仔 阅读(145) 评论(0) 推荐(0)
2021年9月2日
机器学习--基本概念
摘要： Machine Learing ≈ Looking for a function 机器学习：机器学习研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。 任务分类 回归任务：函数的输出是一个标量。 分类任务：给的类别，函数的输出是这些类别之一。 步骤 1、定义含未知参数的函数 阅读全文
posted @ 2021-09-02 17:26 奋斗的小仔 阅读(80) 评论(0) 推荐(0)
2021年8月30日
Python笔记--文本处理
摘要： 使用os模块导航文件系统 下面是一些会用到的函数相关描述 函数名 说明 os.getcwd() 返回当前目录 os.listdir(directory) 返回directory下的文件名和子目录列表 os.stat(path) 返回一个数值元组，该元组给出任何您可能需要的关于文件（或目录）的信息。 阅读全文
posted @ 2021-08-30 14:19 奋斗的小仔 阅读(72) 评论(0) 推荐(0)
2021年8月29日
Python笔记--创建模块
摘要： 模块 模块只是一个Python源文件，它可以包含变量、类、函数和Python脚本中可用到的其他任何元素。 在使用一个模块之前需要先导入它 >>> import module 也可以仅导入需要的一个类或函数 >>> from module import item 如果一个模块被修改了，可以使用imp. 阅读全文
posted @ 2021-08-29 00:12 奋斗的小仔 阅读(265) 评论(0) 推荐(0)
2021年8月28日
Python笔记--Python语言的其他特性
摘要： lambda和filter：简单匿名函数 lambda本身不是一个函数，而是一个关键字。它告诉Python创建一个函数并在适当的位置使用它，而不是通过一个名称引用它。 由于缺少名称，lambda创建的函数被称为匿名函数。 filter函数接收一个列表，并基于函数中定义的标准移除元素。 filter_ 阅读全文
posted @ 2021-08-28 13:00 奋斗的小仔 阅读(43) 评论(0) 推荐(0)
2021年8月26日
Python笔记--文件和目录
摘要： 路径： 反斜杠在Python字符串中是一个特殊字符，因此必须对路径中的反斜杠进行转义。 路径“C:\Windows\Temp”要用"C:\\Windows\\Temp"代替。 创建文本文件，w写文件，如果没有该文件会创建新文件。如果文件中已有内容会被清空。 def make_text_file(): 阅读全文
posted @ 2021-08-26 21:40 奋斗的小仔 阅读(46) 评论(0) 推荐(0)
2021年8月25日
Python笔记--组织程序
摘要： 模块 模块包含与一个公共主题相关联的函数、方法或者数据。 导入可用的模块 import sys # 导入名称为sys的模块 创建新模块 自己写一个.py文件，然后再别的文件中使用import就可以导入它。 包 包可以理解为模块的集合。 新建包时默认会创建_init_.py文件。如果导入myPacka 阅读全文
posted @ 2021-08-25 14:11 奋斗的小仔 阅读(64) 评论(0) 推荐(0)