01 2021 档案
机器学习四讲——模型提升——分类决策树
摘要：一、学习资料： 北京博雅数据酷客平台大讲堂：http://cookdata.cn/auditorium/course_room/10015/ 案例连接：http://cookdata.cn/note/view_static_note/61f373ccecf93d7ecb7fd03e11e7ff3e/ 阅读全文
posted @ 2021-01-30 20:51 阡陌祁画 阅读(126) 评论(0) 推荐(0)
机器学习三讲——分类
摘要：一、学习资料： 北京博雅数据酷客平台大讲堂：http://cookdata.cn/auditorium/course_room/10014/ 二、概念 1、什么是分类： 另一种典型的有监督学习问题 标签（模型预测值）y为离散值 实际应用举例： 新闻主题分类：科技、教育、社会、体育？ 疾病诊断：根据病 阅读全文
posted @ 2021-01-28 21:08 阡陌祁画 阅读(319) 评论(0) 推荐(1)
支持向量机实现
摘要：采用的测试数据：参考上一篇博客4.1部分 https://www.cnblogs.com/hhjing/p/14340924.html 1、 import numpy as np import matplotlib.pyplot as plt %matplotlib inline #定义函数 def 阅读全文
posted @ 2021-01-28 21:06 阡陌祁画 阅读(107) 评论(0) 推荐(0)
梯度下降法求解逻辑回归
摘要：采用的测试数据：参考上一篇博客4.1部分 https://www.cnblogs.com/hhjing/p/14340924.html 1、实现使用梯度下降求解的逻辑回归算法 import numpy as np #d定义梯度下降法求解的迭代公式 def logistic_regression(X, 阅读全文
posted @ 2021-01-28 20:01 阡陌祁画 阅读(328) 评论(0) 推荐(0)
感知机算法案例
摘要：采用的测试数据：参考上一篇博客4.1部分 https://www.cnblogs.com/hhjing/p/14340924.html 1、用一个perception函数实现上述算法。为了深入观察算法运行过程，我们保留每一轮迭代的参数w,并对每一轮迭代中随机选取的样本进行记录。所以，percepti 阅读全文
posted @ 2021-01-28 19:44 阡陌祁画 阅读(725) 评论(0) 推荐(0)
机器学习二讲——回归
摘要：一、学习资料 北京博雅数据酷客平台大讲堂：http://cookdata.cn/auditorium/course_room/10013/ 二、矩阵的逆 概念：对于n×n方阵A，如果存在矩阵B使得AB=BA=1,则称B为A的逆矩阵，记为 相关性质：若A为可逆矩阵，则其逆矩阵是唯一的 是否可逆：行列式 阅读全文
posted @ 2021-01-27 22:49 阡陌祁画 阅读(61) 评论(0) 推荐(0)
机器学习一讲——机器学习介绍
摘要：一、学习资源： 北京博雅数据酷客平台大讲堂：http://cookdata.cn/auditorium/course_room/10012/ 二、相关简单介绍 1、大数据是指数据采集、数据清洗、数据分析和数据应用的整个流程中的理论、技术和方法 2、机器学习是大数据分析的核心内容。机器学习解决的是找到 阅读全文
posted @ 2021-01-26 21:13 阡陌祁画 阅读(145) 评论(0) 推荐(0)
Tensorflow-K近邻算法
摘要：一、实验目的 1.掌握使用TensorFlow进行KNN操作 2.掌握KNN 算法的原理 二、实验原理 knn的基本原理： KNN是通过计算不同特征值之间的距离进行分类。 整体的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 阅读全文
posted @ 2021-01-26 20:04 阡陌祁画 阅读(117) 评论(0) 推荐(0)
RDD编程初级实践
摘要：一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1．spark-shell 交互式编程 请到本教程官网的“下载专区”的“数 阅读全文
posted @ 2021-01-24 23:36 阡陌祁画 阅读(904) 评论(0) 推荐(0)
Spark_RDD
摘要：一、概念 RDD是Resilient Distributed Dataset。RDD是Spark的基础数据结构。表现形式为不可变的分区元素的集合，并且可以在集群中并行操作。 同时, RDD 还提供了一组丰富的操作来操作这些数据. 在这些操作中, 诸如 map, flatMap, filter 等转换 阅读全文
posted @ 2021-01-23 21:39 阡陌祁画 阅读(71) 评论(0) 推荐(0)
《软件需求》阅读笔记三
摘要：今天学习到了相关的需求来源、需求征集方面的方法 软件需求可以来自方方面面，这取决于所开发产品的性质和开发环境。需从不同用户代表和来源收集需求，这说明了需求工程是以相互交流为核心的性质。下面是几个软件需求的典型来源。 1）. 访问并与有潜力的用户探讨为找出新软件产品的用户需求，最直截了当的方法是询问他 阅读全文
posted @ 2021-01-22 21:30 阡陌祁画 阅读(76) 评论(0) 推荐(0)
Spark简单使用案例-WordCount
摘要：一、基本步骤 1.观察数据集 2.编写代码测试数据集 3.固化代码、提交集群运行上线 二、编写代码方式 1.spark-shell ·数据集的探索 ·测试 2.独立应用 ·上线，放在集群运行 三、WordCount案例 步骤：1.读取文件 2.差分单词 3.给与每个单词词频为1 4.按照单词进行词频 阅读全文
posted @ 2021-01-21 19:41 阡陌祁画 阅读(216) 评论(0) 推荐(0)
tensorflow线性回归
摘要：一、代码显示 import tensorflow.compat.v1 as tf tf.disable_v2_behavior() import numpy as np import os import matplotlib.pyplot as plt os.environ["CUDA_VISIBL 阅读全文
posted @ 2021-01-17 21:02 阡陌祁画 阅读(49) 评论(0) 推荐(0)
Scala+idea环境配置和简单使用
摘要：一、资源 1、scala下载路径：http://www.scala-lang.org/download/ 2、安装教程：https://jingyan.baidu.com/article/5225f26babb1ffe6fa0908a0.html 3、参考博客：https://www.cnblogs 阅读全文
posted @ 2021-01-16 22:43 阡陌祁画 阅读(224) 评论(0) 推荐(0)
《软件需求》阅读笔记二
摘要：今天读了第四和第五章，所得收获如下： 1、改进需求的过程是一个从失败、错误开始，还要历经像受人为抵制的影响及因任务的时间紧迫二导致改进被搁置这样的挫败。在软件开发过程的改进中主要有两个目标：解决在以前项目或目前项目中遇到的问题，防止和避免你可能在将来的项目中要遇到的问题。 2、对于需求，它一旦改变就 阅读全文
posted @ 2021-01-15 20:36 阡陌祁画 阅读(53) 评论(0) 推荐(0)
Tensorflow安装和配置
摘要：一、资料 安装教程：https://blog.csdn.net/wenyusuran/article/details/83010044 二、安装步骤 1、在官网下载anaconda安装包并进行安装 2、打开终端，可查看安装的conda版本号 3、由于tensorflow最适合的版本是python3. 阅读全文
posted @ 2021-01-14 21:34 阡陌祁画 阅读(343) 评论(0) 推荐(0)
Spark高可用配置
摘要：一、学习资源 https://www.bilibili.com/video/BV1yD4y1U73C?p=10 二、步骤 1、停止Spark集群 2、修改配置文件 3、分发配置文件给整个集群 4、在node01上启动整个集群 cd /export/servers/spark/conf sbin/st 阅读全文
posted @ 2021-01-14 18:51 阡陌祁画 阅读(133) 评论(0) 推荐(0)
Spark安装及环境配置
摘要：一、学习资源 https://www.bilibili.com/video/BV1yD4y1U73C?p=8 二、步骤 1、下载安装包 根据自己hadoop的版本下载相应的安装包 https://spark.apache.org/downloads.html 2、放到虚拟机中，进行解压和安装 解压压 阅读全文
posted @ 2021-01-12 22:23 阡陌祁画 阅读(1179) 评论(0) 推荐(0)
SSH免密登录
摘要：一、学习资料 https://www.bilibili.com/video/BV1JT4y1g7nM?p=13 https://www.cnblogs.com/thousfeet/p/8618696.html 二、原理 1、需要先在B节点配置A节点的公钥 2、A节点请求B节点要求登录 3、B节点使用 阅读全文
posted @ 2021-01-11 17:38 阡陌祁画 阅读(73) 评论(0) 推荐(0)
大数据集群linux环境搭配
摘要：一、学习资源 https://www.bilibili.com/video/BV1JT4y1g7nM?p=7 二、收获和进度 今天根据视频重新搭建了虚拟机并且成功连接内网和外网 三、遇到的问题 1、自动生成MAC地址失败 解决方法：重新在主界面进入虚拟机的设置界面更改：https://blog.cs 阅读全文
posted @ 2021-01-10 22:55 阡陌祁画 阅读(82) 评论(0) 推荐(0)