摘要: 一、选题与意义 1.Hadoop平台应用 √ 2.Kaggle分析数据项目 简要说明理由与意义。 答:分布式系统,大数据。进行map reduce 进行数据挖掘 因而适应你的文本分类的需求 二、实践方案 简要说明理由。 答:淘宝双11数据分析与预测课程案例,由厦门大学数据库实验室团队开发,旨在满足全 阅读全文
posted @ 2020-06-23 20:09 秦拆拆 阅读(343) 评论(0) 推荐(0) 编辑
摘要: 1.简述人工智能、机器学习和深度学习三者的联系与区别。 答:就范围而言:人工智能>机器学习>深度学习,并且它们三者也属于包含关系。 人工智能: 人工智能英文缩写为AI,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学研究领域的一个重要分支 阅读全文
posted @ 2020-06-07 18:15 秦拆拆 阅读(286) 评论(0) 推荐(0) 编辑
摘要: 1.读取 2.数据预处理 import csv import nltk import re from nltk.corpus import stopwords from nltk.stem import WordNetLemmatizer import pandas as pd #返回类别 def 阅读全文
posted @ 2020-05-23 18:28 秦拆拆 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 1. 读邮件数据集文件,提取邮件本身与标签。 列表 numpy数组 2.邮件预处理 邮件分句 句子分词 大小写,标点符号,去掉过短的单词 词性还原:复数、时态、比较级 连接成字符串 2.1 传统方法来实现 2.2 nltk库的安装与使用 pip install nltk import nltk nl 阅读全文
posted @ 2020-05-17 20:03 秦拆拆 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 简述什么是监督学习与无监督学习。 答:简述分类与聚类的联系与区别:聚类:在没有训练的条件下把样本划分为若干类。分类:已知存在哪些类,即对于目标数据库中存在哪些类是知道的,要做的就是将每一条记录分别属于哪一类标记出来。区别:两者 阅读全文
posted @ 2020-05-13 20:58 秦拆拆 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 一、用自己的话描述出其本身的含义: 1、特征选择 答:特征选择也叫特征子集选择 。是指从已有的M个特征中选择N个特征使得系统的特定指标最优化,是从原始特征中选择出一些最有效特征以降低数据集维度的过程,是提高学习算法性能的一个重要手段,也是模式识别中关键的数据预处理步骤。 2、PCA 答:PCA顾名思 阅读全文
posted @ 2020-05-03 23:25 秦拆拆 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 用过滤法对以下数据进行特征选择: [[0,2,0,3], [0,1,4,3], [0,1,1,3]] 要求: 1、Variance Threshold(threshold =1.0) 2、将结果截图放上来(没有条件的备注说明原因)注意:每个人的电脑ID是不一样的 from sklearn.featu 阅读全文
posted @ 2020-04-29 21:48 秦拆拆 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 1.逻辑回归是怎么防止过拟合的?为什么正则化可以防止过拟合?(大家用自己的话介绍下) 答(1): 1. 增加样本量,这是万能的方法,适用任何模型。 2. 如果数据稀疏,使用L1正则,其他情况,用L2要好,可自己尝试。 3. 通过特征选择,剔除一些不重要的特征,从而降低模型复杂度。 4. 如果还过拟合 阅读全文
posted @ 2020-04-29 21:04 秦拆拆 阅读(112) 评论(0) 推荐(0) 编辑
摘要: 1.用自己的话描述一下,什么是逻辑回归,与线性回归对比,有什么不同? 答:逻辑回归是一种用于解决二分类(0 or 1)问题的机器学习方法,用于估计某种事物的可能性。比如说某个病人患某种疾病的可能性。逻辑回归本质上是线性回归,但是线性回归需要自变量与因变量之间的线性关系,逻辑回归不需要自变量与因变量之 阅读全文
posted @ 2020-04-25 15:48 秦拆拆 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 1.本节重点知识点用自己的话总结出来,可以配上图片,以及说明该知识点的重要性 回归算法的含义: 线性回归的含义: 2.思考线性回归算法可以用来做什么?(大家尽量不要写重复) 答:线性回归的预测模型虽然是一元(线性)方程,但现实中很多应用场景符合这个模型,例如商品的价格与商品的销量之间的关系。 3.自 阅读全文
posted @ 2020-04-22 21:24 秦拆拆 阅读(243) 评论(0) 推荐(0) 编辑