2020 年 12月随笔档案 - 一杯明月

P17 数据的划分和介绍

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=17 答：不行。应该：一部分训练，一部分评估。数据集举例：三类鸢尾花数据读取代码演示： """ 读取三类鸢尾花数据 li=load_iris() 可以直接使用函数接口实例化对象，返回的是一个字典 """ 阅读全文

posted @ 2020-12-31 00:21 一杯明月阅读(383) 评论(0) 推荐(0) 编辑

P15 机器学习算法分类及开发流程

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=15 注解：监督学习有特征值和目标值，监督学习，谁监督呢？答：类别。我称监督学习为：有主体监督学习。非监督学习只有特征值，没有目标值。我称非监督学习为：无主体监督学习。学习的重点是监督学习，监督学习阅读全文

posted @ 2020-12-30 18:31 一杯明月阅读(188) 评论(0) 推荐(0) 编辑

P13 数据降维案例1

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=13 阅读全文

posted @ 2020-12-30 18:28 一杯明月阅读(67) 评论(0) 推荐(0) 编辑

P11 标准化总结及缺失值处理

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=11 注解：一般是按照列进行填补。注解: 参数axis=0或者1,指的是按照行或者列填充。代码演示： """ 缺失值处理 """ from sklearn.preprocessing import Im 阅读全文

posted @ 2020-12-30 18:22 一杯明月阅读(274) 评论(0) 推荐(0) 编辑

P12 数据的降维及特征选择

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=12 注解：这里了的降维不是指数组的维度，不是1维、2维、3维那个维。注解：这个是3维的特征转换为2维的特征。降维就是把样本的特征的数量减少，比如在分辨男女的时候，把每个样本里面的特征肤色去掉。注解阅读全文

posted @ 2020-12-30 18:22 一杯明月阅读(331) 评论(0) 推荐(0) 编辑

P8 08 特征预处理-归一化

摘要：注解：其实就是值的转换。注解：这个是特征预处理方法的API。例子： https://zhuanlan.zhihu.com/p/91125751 一般做机器学习应用的时候大部分时间是花费在特征处理上，其中很关键的一步就是对特征数据进行归一化，那么为什么要归一化呢？目录：定义优点方法结阅读全文

posted @ 2020-12-30 18:21 一杯明月阅读(254) 评论(0) 推荐(0) 编辑

P9 归一化以及标准化对比

摘要：知乎参考：https://www.zhihu.com/question/20467170 哔哩哔哩视频参考：http://bilibili.com/video/BV184411Q7Ng?p=9 Python程序举例： """ 对数据进行归一化处理 """ from sklearn.preproces 阅读全文

posted @ 2020-12-30 18:21 一杯明月阅读(224) 评论(0) 推荐(0) 编辑

P6 文本特征抽取以及中文问题

摘要：http://bilibili.com/video/BV184411Q7Ng?p=6 """ 演示字典的特征抽取， DictVectorizer是一个类的名字 """ from sklearn.feature_extraction import DictVectorizer def dictvec( 阅读全文

posted @ 2020-12-30 18:20 一杯明月阅读(218) 评论(0) 推荐(0) 编辑

P4 04 特征工程的定义

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=4 注解：数据1、数据2、数据3称为样本。注解： sklearn scikit-learn 注解：机器学习不需要去除重复值。皮肤颜色的特征值是“黄”、“白”、“黑”，是字符串，不能直接送入机器学习的模阅读全文

posted @ 2020-12-30 18:19 一杯明月阅读(100) 评论(0) 推荐(0) 编辑

P5 字典特征数据抽取

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=5 注解：把一句英文转变成了一个二维数组。注解：计算机理解不了英文文章，只能理解数据。特征抽取的示例代码： """ 演示字典的特征抽取， DictVectorizer是一个类的名字 """ from 阅读全文

posted @ 2020-12-30 18:19 一杯明月阅读(175) 评论(0) 推荐(0) 编辑

P1 01 机器学习简介

摘要：http://bilibili.com/video/BV184411Q7Ng?from=search&seid=739809869027647463 注解：人工智能、机器学习、深度学习3个名次的出现顺序是：人工智能-->机器学习-->深度学习下面是一些深度学习框架：注解：用的最多的是tens 阅读全文

posted @ 2020-12-30 18:18 一杯明月阅读(163) 评论(0) 推荐(0) 编辑

P2 02 机器学习概述

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=2 下面是机器学习的一个应用：注解： AlphaGo能下赢柯洁，就是机器学习的结果，机器学习了无数的棋盘。柯洁一天可以学习100盘棋局，比较有限，但是AlphaGo算法一天可以学习成千上万盘棋局，并从中获阅读全文

posted @ 2020-12-30 18:18 一杯明月阅读(100) 评论(0) 推荐(0) 编辑

P3 03 数据集的构成

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=3 注解：机器学习的数据格式：csv格式。注解： 1、2、3是指的第几个人。 GIL：全局解释锁。多线程运行的时候，Numpy的运算速度比Python的运算速度要快很多。阅读全文

posted @ 2020-12-30 18:18 一杯明月阅读(145) 评论(0) 推荐(0) 编辑

windows下把安装库到指定的Python环境下

摘要：想安装到那个环境下，就把那个版本的python环境变量放在前面的位置就行了。步骤：根据自己的安装路径添加环境变量： C:\Users\TJ\AppData\Local\Programs\Python\Python37\Scripts\;C:\Users\TJ\AppData\Local\Prog 阅读全文

posted @ 2020-12-29 14:23 一杯明月阅读(628) 评论(0) 推荐(0) 编辑

多彩无线鼠标过一会重新使用要用力砸桌面才能使用的解决办法

摘要：http://www.xitongcheng.com/jiaocheng/dnrj_article_14803.html 或者：单纯的点击右键。阅读全文

posted @ 2020-12-28 14:47 一杯明月阅读(318) 评论(0) 推荐(0) 编辑

查看两台计算机是否能够通信

摘要：用ping 在cmd命令行窗口ping一个ip地址。在ubuntu的终端ping一个ip地址。另外，ip地址的获取： windows的话，ipconfig/all ubuntu的话，ifconfig -a 阅读全文

posted @ 2020-12-27 22:23 一杯明月阅读(1012) 评论(0) 推荐(0) 编辑

windows7查看ip地址

摘要：cmd命令行窗口输入：ipconfig/all 阅读全文

posted @ 2020-12-27 21:59 一杯明月阅读(432) 评论(0) 推荐(0) 编辑

P79 自实现一个线性回归

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=79 代码示例： """ 写一个线性回归运用分布式计算机集群进行训练即：运用多台计算机的cpu和gpu进行参数保存、模型训练和预测 """ import tensorflow as tf """ 定义一个阅读全文

posted @ 2020-12-27 17:39 一杯明月阅读(217) 评论(0) 推荐(0) 编辑

P78 分布式原理、架构、更新参数模式

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=78 注解：参数服务器保存的权重参数不在本地，而在远程服务器上面。阅读全文

posted @ 2020-12-27 13:11 一杯明月阅读(386) 评论(0) 推荐(0) 编辑

P76 验证码识别程序流程及图片数据的处理

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=76 注解：让交叉熵损失值最小等价于目标值处1对应的概率值最大，直觉上看相当于是强制拟合一个非线性函数，或者说强符合一个非线性函数。让交叉熵损失值最小等价于目标值处1对应的概率值最大，此时意味着预测值和目阅读全文

posted @ 2020-12-26 23:27 一杯明月阅读(311) 评论(0) 推荐(0) 编辑

P75 验证码识别原理分析

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=75 注解：每个字母输出属于26个字母的概率。注解：经过卷积神经网络后，每个样本图片的输出应该是[4*26]个概率值。注解： a是全连接层之后经过softmax运算后的104个概率值，b是26*4个目阅读全文

posted @ 2020-12-26 17:54 一杯明月阅读(91) 评论(0) 推荐(0) 编辑

P74 复习

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=74 注解：这是一个230*240的彩色图片。卷积层相当于做特征，把特征提取出来。为何函数使用relu(),不是sigmoid()函数了，原因： 1.sigmoid()计算量大。如果网络深度深的话，在阅读全文

posted @ 2020-12-26 17:38 一杯明月阅读(219) 评论(0) 推荐(0) 编辑

P73 卷积神经网络识别手写数字

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=73 数据集介绍： 1.设计占位符：注解： [None, 784] 样本数据量未知。[None, 10] 每个样本都有10个类别的概率。 2.设计网络结构：注解：最后一层全连接层，[7,7,64]要变成阅读全文

posted @ 2020-12-25 17:13 一杯明月阅读(355) 评论(0) 推荐(0) 编辑

P71 激活层与池化层

摘要：https://www.bilibili.com/video/BV184411Q7Ng?p=71 有多少个(对于3通道彩色图像来说，是组)filter，图像的输出通道数就是多少。步长是1是为了观测更仔细。卷积神经网络为何不使用之前的sigmoid()函数，而要适用新的relu激活函数呢？一个卷阅读全文

posted @ 2020-12-24 22:52 一杯明月阅读(202) 评论(0) 推荐(0) 编辑

P70 卷积神经网络介绍以及卷积结构

摘要：http://bilibili.com/video/BV184411Q7Ng?p=70 注解：最后一层一定是全连接层，目的是为了输出类别假设原始图片是单通道， 100个卷积核去观察，会把图像的通道数变成100. 有多少组filter，就得到多少通道的图像。本例有两组filter,就得到一个2通阅读全文

posted @ 2020-12-24 16:50 一杯明月阅读(175) 评论(0) 推荐(0) 编辑

P39 逻辑回归的定义，损失函数，优化

摘要：注解：解决的是二分类问题。逻辑回归的应用场景： sigmoid函数和数轴交叉的位置的值是:0.5 阅读全文

posted @ 2020-12-24 15:58 一杯明月阅读(227) 评论(0) 推荐(0) 编辑

P38 模型的保存与加载

摘要：保存模型主要指:保存模型训练好的权重。以房价预测的岭回归为例： #load_boston里面的数值都是连续的 import math from sklearn.datasets import load_boston #从sklearn中的线性模型导入线性回归，SGD随机梯度下降 from skle 阅读全文

posted @ 2020-12-24 15:34 一杯明月阅读(189) 评论(0) 推荐(0) 编辑

P37 Ridge岭回归分析

摘要：http://bilibili.com/video/BV184411Q7Ng?p=37 #python岭回归进行房间预测： #load_boston里面的数值都是连续的 from sklearn.datasets import load_boston #从sklearn中的线性模型导入线性回归，SG 阅读全文

posted @ 2020-12-24 14:31 一杯明月阅读(322) 评论(0) 推荐(0) 编辑

P36 过拟合与欠拟合

摘要：http://bilibili.com/video/BV184411Q7Ng?p=36 图1(欠拟合，习得的特征太少了) 图2(过拟合，习得的特征太多了) 注解：欠拟合的特点是训练和测试误差都大。过拟合的特点是训练误差小，测试误差大。注解： 2.0和10.0代表的是均方误差，即过拟合的特点是训阅读全文

posted @ 2020-12-23 19:32 一杯明月阅读(207) 评论(0) 推荐(0) 编辑

python print()输出指定小数位数的数字

摘要：print("%.1f"%abs((y_sgdmethod_predict[i][0]-y_zhengguifunction_predict[i][0])*10),"千元") 阅读全文

posted @ 2020-12-23 18:47 一杯明月阅读(7223) 评论(0) 推荐(0) 编辑

P35 线性回归两种求解方式总结

摘要：不通过正规方程的方式，通过的梯度下降的方式进行房价预测：如果数据量少，特征数量少，可以用正规方程求解系数和预测值。如果样本量大，特征数量多，不要用正规方程进行系数求解和预测，最好用梯度下降的方法进行迭代求解。正规方程与随机梯度下降求得的权重和预测值的差值： #load_boston里面的数值都阅读全文

posted @ 2020-12-23 15:16 一杯明月阅读(481) 评论(0) 推荐(0) 编辑

P34 线性回归的策略、优化、案例

摘要：http://bilibili.com/video/BV184411Q7Ng?p=34 线性回归：就是找到合适的权阵，与每一个特征相乘，最后求和，得出要预测的目标值。实际生活中，数据分布没有那么简单，并不是严格在一条直线上，所以即便使用机器学习用线性回归模型预测，也是有误差的。注解：红色小线段阅读全文

posted @ 2020-12-21 23:01 一杯明月阅读(795) 评论(0) 推荐(0) 编辑

P33 线性回归的定义及矩阵的运算

摘要：目标值：是连续型的值，在某个区间内可以取任意数值，即可以无限的划分。离散型随机变量有取某个值的概率连续型随机变量没有取得某个值的概率。以下问题归类为回归问题：注解：西瓜好坏的例子，是把连续型的值转变为了离散的值（好、坏），是把一个回归问题转变为了一个分类问题。回归例子：注解：这里的属阅读全文

posted @ 2020-12-21 16:55 一杯明月阅读(509) 评论(0) 推荐(0) 编辑

P53 trainable 学习率的调整，梯度爆炸

摘要：import tensorflow as tf def myregession(): """ 自实现一个线性回归预测 :return: None """ #1. 准备数据 x 特征值，[100,1], 100个样本，1个特征 # y 目标值，[100] x=tf.random_normal([10 阅读全文

posted @ 2020-12-21 16:40 一杯明月阅读(192) 评论(0) 推荐(0) 编辑

P52 线性回归的原理的复习及实现

摘要：注解：线性回归就是找到合适的权重w1,w2,w3,w4,w5乘以相应的特征之后，使得第一个预测值与20接近，第二个预测值与30接近。先不考虑5个特征，考虑一个特征的简单情况：注解：模型参数只有用变量定义，才会被更新 import tensorflow as tf def myregessio 阅读全文

posted @ 2020-12-21 16:32 一杯明月阅读(396) 评论(0) 推荐(0) 编辑

P51 可视化学习

摘要：注解：普通的张量，随便定义的一个tensor,是不能被训练的 import tensorflow as tf a=tf.constant([1,2,3,4,5,6]) var=tf.Variable(tf.random_normal([2,3],mean=0.0,stddev=1.0)) prin 阅读全文

posted @ 2020-12-21 14:59 一杯明月阅读(145) 评论(0) 推荐(0) 编辑

P50 运算API介绍

摘要：import tensorflow as tf zero=tf.zeros([3,4],tf.float32) with tf.Session() as sess: print(zero.eval()) 运行结果： [[0. 0. 0. 0.] [0. 0. 0. 0.] [0. 0. 0. 0.] 阅读全文

posted @ 2020-12-21 11:00 一杯明月阅读(128) 评论(0) 推荐(0) 编辑

P49 张量的定义以及例子

摘要：http://bilibili.com/video/BV184411Q7Ng?p=49 注解：张量其实就是numpy里面的数组，是对numpy中数组的封装。注解： "add:0"里面的0没有啥意义如果再定义一个add加法，会显示"add_1:0","add_2:0","add_3:0","ad 阅读全文

posted @ 2020-12-20 17:06 一杯明月阅读(432) 评论(0) 推荐(0) 编辑

P48 会话的run()方法

摘要：import tensorflow as tf #创建一张图包含了一组op和tensor,上下文环境 #g=tf.Graph() #print(g) #当创建了新的图后，又分配了新的内存 #with g.as_default(): # c=tf.constant(12.0) # print(c.gr 阅读全文

posted @ 2020-12-20 16:21 一杯明月阅读(218) 评论(0) 推荐(0) 编辑

P47 会话 tf.Session()

摘要：注解：使用上下文管理器则不需要再写sess.close()这句话去释放sess会话掌握的资源了。红色config那句可以打印出某些运算是在哪一个设备里面运行的。阅读全文

posted @ 2020-12-20 12:37 一杯明月阅读(96) 评论(0) 推荐(0) 编辑

P46 tensorflow的图

摘要：数据流动张量流动 import tensorflow as tf #实现一个加法运算 a=tf.constant(5.0) b=tf.constant(6.0) sum1=tf.add(a,b) #图的定义，默认的这张图，相当于是给程序分配一段内存 graph=tf.get_default_gra 阅读全文

posted @ 2020-12-20 12:34 一杯明月阅读(135) 评论(0) 推荐(0) 编辑

P45 tensorflow的图结构

摘要：加法运算的一般的程序写法：只打印出来了数据类型，而没有结果，可见，tensorflow写程序不像一般程序那么简单。结果出来了。体现了tensorflow的思想。在tensorflow中，数据被称为张量。阅读全文

posted @ 2020-12-20 11:45 一杯明月阅读(118) 评论(0) 推荐(0) 编辑

P44 01_tensorflow基本介绍

摘要：深度学习的应用：竖轴代表关注度。 tensorflow深度学习框架是专门为深度学习量身订做的。 tensorflow在github上的关注度。 tensorflow的版本演变：很多公司选择tensorflow作为深度学习的框架是因为它有tensorboard这个可视化模块，相当于一个web借口。阅读全文

posted @ 2020-12-20 09:44 一杯明月阅读(105) 评论(0) 推荐(0) 编辑

P68 03——简单的神经网络实线手写数字识别

摘要：http://bilibili.com/video/BV184411Q7Ng?p=68 return:返回的是一个小批次样本的损失值列表。 one-hot编码：一个热编码。例如阿拉伯数字4编码成列向量：[0 0 0 0 1 0 0 0 0 0] 准确率怎么来？答：在第一批次(mini-batch) 阅读全文

posted @ 2020-12-18 23:01 一杯明月阅读(223) 评论(0) 推荐(0) 编辑

p67 02 神经网络结构

摘要：左起一：杨乐昆，卷积神经网络的发明者，hinton的学生左起二：神经网络的发明者第一层是特征，不是神经元。最后一层一定是全连接层，最后一层的神经元的个数一定等于要预测的类别数量。如果预测的结果和样本的One-hot编码一致，则交叉熵为0，最小，此时样本预测的预测值和真实值相同，即预测的最准确阅读全文

posted @ 2020-12-18 16:59 一杯明月阅读(144) 评论(0) 推荐(0) 编辑

p66 01感知机模型

摘要：阅读全文

posted @ 2020-12-18 16:56 一杯明月阅读(94) 评论(0) 推荐(0) 编辑

第六章导学深度前馈神经网络【重要】

摘要：http://bilibili.com/video/BV1kE4119726?p=9 深度学习指用深度神经网络来解决机器学习问题。正是因为激活函数的存在，才能使得神经网络能够解决非线性问题。把很多个神经元一层一层的堆叠起来，就构成了前馈神经网络，也叫多层感知器、多层感知机、全连接神经网络。通过计阅读全文

posted @ 2020-12-18 12:43 一杯明月阅读(223) 评论(0) 推荐(1) 编辑

P8 第五章机器学习基础

摘要：http://bilibili.com/video/BV1kE4119726?p=8 注解： python适合做深度学习。 scipy是主要做数值分析(计算)的库 scikitlearn是做机器学习的库一个分类问题：二分类和多分类问题的分类结果评估指标、回归模型(针对的是连续变量)的评估指标：阅读全文

posted @ 2020-12-17 23:11 一杯明月阅读(152) 评论(0) 推荐(0) 编辑

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论