摘要: 一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 答:我选择Hadoop平台应用-淘宝双11数据分析与预测,以前接触过Hadoop,但是有点忘记,可以重新复习一下,进一步熟悉linux命令,。 二、实践方案 简要说明理由。 答:个人电脑安装实验环境。 三、 阅读全文
posted @ 2020-06-23 19:56 Notes_zeng 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 作业补交: https://www.cnblogs.com/zengyf/p/13054699.html https://www.cnblogs.com/zengyf/p/13054744.html https://www.cnblogs.com/zengyf/p/13055110.html htt 阅读全文
posted @ 2020-06-11 21:13 Notes_zeng 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 一、用自己的话描述出其本身的含义: 1、特征选择 将高维空间的样本通过映射或者是变换的方式转换到低维空间,达到降维的目的,然后通过特征选取删选掉冗余和不相关的特征来进一步降维。从而提高模型精确度,减少运行时间的目的。 2、PCA 是一种常见的数据分析方式,常用于高维数据的降维,可用于提取数据的主要特 阅读全文
posted @ 2020-06-06 17:42 Notes_zeng 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 用过滤法对以下数据进行特征选择: [[0,2,0,3], [0,1,4,3], [0,1,1,3]] 要求: 1、Variance Threshold(threshold =1.0) 2、将结果截图放上来(没有条件的备注说明原因)注意:每个人的电脑ID是不一样的 阅读全文
posted @ 2020-06-06 17:34 Notes_zeng 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 1.逻辑回归是怎么防止过拟合的?为什么正则化可以防止过拟合?(大家用自己的话介绍下) 增大数据量,正则化(L1,L2),丢弃法Dropout(把其中的一些神经元去掉只用部分神经元去构建神经网络),优化模型,一般是模型过于简单无法描述样本的特性; 如果我们要在训练数据上表现良好,最为直接的方法就是要在 阅读全文
posted @ 2020-06-06 17:28 Notes_zeng 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 1.用自己的话描述一下,什么是逻辑回归,与线性回归对比,有什么不同? 逻辑回归是一种用于解决监督学习(Supervised Learning)问题的学习算法,进行逻辑回归的目的,是使训练数据的标签值与预测出来的值之间的误差最小化。 线性bai回归要求因变量必须是连续性数据du变量;逻辑回归要求因变量 阅读全文
posted @ 2020-06-06 16:38 Notes_zeng 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 1.本节重点知识点用自己的话总结出来,可以配上图片,以及说明该知识点的重要性。 监督学习中回归与分类的分别 线性回归,线性回归就是能够用一个直线较为精确地描述数据之间的关系,这样当出现新的数据的时候,就能够预测出一个简单的值。利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种 阅读全文
posted @ 2020-06-06 16:37 Notes_zeng 阅读(274) 评论(0) 推荐(0) 编辑
摘要: 1. 应用K-means算法进行图片压缩 读取一张图片 观察图片文件大小,占内存大小,图片数据结构,线性化 用kmeans对图片像素颜色进行聚类 获取每个像素的颜色类别,每个类别的颜色 压缩图片生成:以聚类中收替代原像素颜色,还原为二维 观察压缩图片的文件大小,占内存大小 import numpy 阅读全文
posted @ 2020-06-06 16:11 Notes_zeng 阅读(126) 评论(0) 推荐(0) 编辑
摘要: 3.用sklearn.cluster.KMeans,鸢尾花花瓣长度数据做聚类,并用散点图显示. import matplotlib.pyplot as pltfrom sklearn.cluster import KMeansfrom sklearn.datasets import load_iri 阅读全文
posted @ 2020-06-06 14:56 Notes_zeng 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 1)贴上视频学习笔记,要求真实,不要抄袭,可以手写拍照。 2)用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”,可以word编辑,可做思维导图,可以手写拍照,要求言简意赅、排版整洁。 剃度:当我们有了一个需求(要求一个方向,此方向函数值变化最大),得到了一个方向,然后这个方向有了意义,就给了它一 阅读全文
posted @ 2020-06-06 14:47 Notes_zeng 阅读(120) 评论(0) 推荐(0) 编辑