摘要： 一、选题与意义 1.Hadoop平台应用 淘宝双11数据分析与预测 官网：http://dblab.xmu.edu.cn/post/8116/ 个人对hadoop分布式的学习比较感兴趣。 二、实践方案 简要说明理由。 三、实践任务分解 安装Linux操作系统 安装关系型数据库MySQL 安装大数据处 阅读全文

摘要： 1.手写数字数据集 from sklearn.datasets import load_digits digits = load_digits() import numpy as npfrom sklearn.datasets import load_digitsdigits = load_digi 阅读全文

摘要： 1.简述人工智能、机器学习和深度学习三者的联系与区别。 搞清三者关系的最简单方法，就是把它们想象成一个同心圆，其中人工智能最大，此概念也最先问世；然后是机器学习，出现的稍晚；最后才是深度学习，不过却是如今人工智能爆炸式发展的根源，处于前两者的范围之内。 2. 全连接神经网络与卷积神经网络的联系与区别 阅读全文

摘要： import csvimport nltkfrom nltk.corpus import stopwordsfrom nltk.stem import WordNetLemmatizer# 词性pos赋值def get_word_pos(tag): if tag.startswith('J'): r 阅读全文

摘要： 1. 读邮件数据集文件，提取邮件本身与标签。 列表 numpy数组 2.邮件预处理 邮件分句 句子分词 大小写，标点符号，去掉过短的单词 词性还原：复数、时态、比较级 连接成字符串 2.1 传统方法来实现 2.2 nltk库的安装与使用 pip install nltk import nltk nl 阅读全文

摘要： 1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 -分类是指按照定好的类别对样本进行划分，聚类是指将相对靠近的样本进行统一划。分分类与聚类本质上都是将杂乱复杂的样本清楚、有目的性地整理在一起。 简述什么是监督学习与无监督学习。 -监督学习就是我先告诉程序，这种样本怎么怎么分类 阅读全文

摘要： 特征选择： 事物体都具有特征属性，特征选择就是从这些特征属性中选取中能代表这种事物的特征，好比说一个人，头发、肤色、五官等都是特征属性，那么要找出非洲人的特征，就需要从中选择出有代表性的特征属性，肤色、语言等等 PCA： PCA是一种特征属性降低维度的一种方法，主要是保护数据，让数据更接近某种特征属 阅读全文

摘要： 用过滤法对以下数据进行特征选择： [[0,2,0,3], [0,1,4,3], [0,1,1,3]] from sklearn.feature_selection import VarianceThresholddata=[[0,2,0,3],[0,1,4,3],[0,1,1,3]]vt= Vari 阅读全文

摘要： 逻辑回归是怎么防止过拟合的？ 过拟合就是参考的特征数过多，直接筛选减少就是它的做法，不过需要手动保留认为有适当意义的数据 为什么正则化可以防止过拟合？ 正则化就是保留所有特征，但是降低它对对特征的识别度，就是降低特征参数（符号就不打了） -用logiftic回归来进行实践操作 import nump 阅读全文

摘要： 逻辑回归，与线性回归对比： -逻辑回归本质上是分类、，线性回归则重预测 -线性回归对象是线性的，每个x都有对应的映射y -逻辑回归对象虽然可以看做是线性，但是每个对象x的映射只有0或1 过拟合和欠拟合： -过拟合就是过分关注数据特征，可以认为该数据特征可以判断为一个事物的特征之一，会表现出一种信任不 阅读全文