09 2019 档案

重新安装NVIDIA显卡驱动
摘要：1 卸载旧的显卡驱动 查看linux系统中的CUDA版本: 2 下载显卡驱动 首先查看显卡型号： 可以看到我的显卡是P100，根据显卡、CUDA版本 "下载适合的驱动" ，这里有一张参照表： 下载驱动： 3 安装相关依赖包 4 有图形界面需禁用x window服务 5 禁用nouveau 禁用nou 阅读全文
posted @ 2019-09-25 22:11 Christine_7 阅读(6194) 评论(0) 推荐(0)
2019 第四季度计划
摘要：有计划地过日子，最大的感慨就是：时间太快啦~~~ 总体来说，第三季度计划完成度不高，第四季度就要多花时间了，毕竟时不待人呐！！！ 主题 | 内容 | 更新频次 | | Spark | 代码 调优| 1/1 2周 机器学习 | sklearn XGBoost lightgbm 机器学习项目up up 阅读全文
posted @ 2019-09-24 22:27 Christine_7 阅读(166) 评论(0) 推荐(0)
交叉验证总结
摘要：在机器学习中，交叉验证是模型选择的常用方法。如果给定的样本数据充足，进行模型选择的一种简单方法是随机的降数据集分成：训练集（training set）、验证集（validation set）、测试集(test set)。训练集用来训练模型，验证集用来选择模型，测试集用于最终对学习方法的评估。在学习到 阅读全文
posted @ 2019-09-24 22:03 Christine_7 阅读(2187) 评论(1) 推荐(0)
Hadoop生态圈
摘要：Hadoop是Apache开源的分布式计算框架，由Java语言实现，支持对海量数据的分布式计算，其框架中最核心设计是HDFS和MapReduce。 Hadoop的优势 1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理 2 阅读全文
posted @ 2019-09-23 20:36 Christine_7 阅读(841) 评论(0) 推荐(0)
Kafka原理总结
摘要：Kafka是一个基于zookeeper协调的开源分布式消息系统，它最大的特性是可以实时的处理大量数据来满足各种需求场景：如基于hadoop的批处理系统、storm/spark流式处理等。它是由Linkedin开发，Scala语言编写的。 1 概述 1.1 Kafka的特性： 高吞吐量、低延迟：即使在 阅读全文
posted @ 2019-09-19 21:42 Christine_7 阅读(563) 评论(0) 推荐(1)
多线程 Threading Multiprocessing(Python）
摘要：多线程是加速程序计算的有效方式，Python的多线程模块threading上手快速简单，学习 "莫烦多线程教程" 动手操作了一遍，这里记录一下。 1 Threading 1.1 添加线程 1.2 join功能 不加join功能，线程任务还未完成便输出all done。 若要遵循顺序，在启动线程后调用 阅读全文
posted @ 2019-09-18 22:27 Christine_7 阅读(187) 评论(0) 推荐(0)
多线程
摘要：1 两种方式创建多线程 1.1 第一种 定义线程类实现Runnable接口 target为Runnable接口类型 Runnable中只有一个方法—— 用来定义线程运行体 使用Runnable接口可以为多个线程提供共享的数据 在实现Runnable接口类的run方法定义中可以使用Thread的静态方 阅读全文
posted @ 2019-09-18 21:55 Christine_7 阅读(134) 评论(0) 推荐(0)
MySQL 基础操作
摘要：1 创建数据库 命令格式： 2 删除数据库 命令格式： 3 选择数据库 命令格式： 4 数据类型： 数值、日期/时间和字符串(字符)类型。 包括严格数值数据类型( 、`SMALLINT DECIMAL NUMERIC FLOAT REAL DOUBLE PRECISION`)。 表示时间值的日期和时 阅读全文
posted @ 2019-09-17 21:15 Christine_7 阅读(207) 评论(0) 推荐(0)
Linux 快捷键记录栏
摘要：1 图形模式与文字模式的切换方式 Linux预设提供了六个命令窗口终端机让我们来登录。 六个窗口分别为tty1,tty2 … tty6，可以按下Ctrl + Alt + F1 ~ F6 来切换，默认登录的时第一个窗口tty1。如果安装了图形界面，默认时进入图形界面，可以按Ctrl + Alt + F 阅读全文
posted @ 2019-09-17 20:53 Christine_7 阅读(290) 评论(0) 推荐(0)
Spark数据分析技术学习笔记（三）——Spark累加器
摘要：1 累加器 阅读全文
posted @ 2019-09-16 21:33 Christine_7 阅读(157) 评论(0) 推荐(0)
Docker使用小结（四）发布镜像
摘要：安装Docker后，启动docker 停止docker命令 查看运行的docker版本 通过pull命令获取相关镜像 获取镜像后，通过 使其运行起来 sudo docker ps a 列出所有容器， 不加 a 仅列出正在运行的 表示运行指定的镜像 表示提升权限 宿主主机端口：容器内部端口 d 后台运 阅读全文
posted @ 2019-09-12 23:15 Christine_7 阅读(228) 评论(0) 推荐(0)
Docker使用（三）使用Dockerfile创建镜像以及为镜像添加SSH服务
摘要：Dockerfile 是一个文本格式的配置文件， 可以使用Dockerfile 来快速创建自定义的镜像。Dockerfile有典型的基本结构及其支持的众多指令，具体可以参照Docker技术入门与实践，这篇博客( "Docker基础 使用Dockerfile创建镜像" )整理了出来，也可以拿来参考。这 阅读全文
posted @ 2019-09-11 21:50 Christine_7 阅读(3039) 评论(0) 推荐(0)
Docker使用小结（二）Docker仓库 Docker数据管理 端口映射与容器互联
摘要：1 Docker访问仓库 第三方镜像 需要登陆docker账号 搭建本地私有仓库 1）使用registry 镜像创建私高仓库 安装Docker 后， 可以通过官方提供的 镜像来简单搭建一套本地私有仓库环境： 查看所有容器 默认情况下，仓库会被创建在容器的 目录下。可以通过 参数来将镜像文件存放在本地 阅读全文
posted @ 2019-09-10 22:19 Christine_7 阅读(1348) 评论(0) 推荐(0)
Docker使用小结（一）Docker镜像以及Docker容器
摘要：1 Docker镜像 Docker 镜像的一系列重要命令操作，包括获取、查看、搜索、删除、创建、存出和载入、上传等。 安装Docker 获取镜像 ubuntu:16.04 Docker帮助 查看Docker信息 包括：容器、镜像、配置的详细信息 下载镜像到本地后即可随时使用该镜像 使用该镜像创建一个 阅读全文
posted @ 2019-09-09 21:27 Christine_7 阅读(916) 评论(0) 推荐(0)
Spark数据分析技术学习笔记（二）——DataFrame使用
摘要：1 概述 1.1 Spark SQL Spark SQL是Spark用来操作结构化和半结构化数据的接口，Spark SQL提供了三大功能： 1）Spark SQL可以从各种结构化数据源(JSON ,Hive,CSV等)中读取数据 2）支持使用SQL和HQL语句查询数据，查询结果以DataSet或Da 阅读全文
posted @ 2019-09-07 22:50 Christine_7 阅读(810) 评论(0) 推荐(0)
SVD原理及代码实现
摘要：奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的矩阵分解算法，这里对SVD原理 应用和代码实现做一个总结。 1 实对称方阵的矩阵分解 对于一个$n\times n$实对称方阵$A$，如果存在一个向量$v$是矩阵$A$的特征向量，可以表示 阅读全文
posted @ 2019-09-06 21:11 Christine_7 阅读(2864) 评论(0) 推荐(0)
PCA原理及代码实现
摘要：PCA(Principle Component Analysis)主成分分析是广泛使用的降维算法，由PCA的名字就可以知道，PCA的主要目标是把数据维度降下来，使得减少数据冗余，降低数据处理带来的计算资源消耗。 1 PCA原理 PCA的基本思想是将数据的最主要成分提取出来代替原始数据，也就是将$n$ 阅读全文
posted @ 2019-09-05 22:17 Christine_7 阅读(6081) 评论(0) 推荐(0)
K-Means原理及代码实现
摘要：对于有监督学习，我们知道其训练数据形式为$T=\left { (x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(n)},y^{(n)})\right }$，其中，$x$表示样本实例，$y$表示样本所属类别。而对于无监督学习，训练数据不提供对应的类别，训 阅读全文
posted @ 2019-09-04 21:08 Christine_7 阅读(2106) 评论(0) 推荐(0)
最小二乘法原理及代码实现
摘要：在机器学习中，尤其是回归模型，经常用到梯度下降法和最小二乘法，这里把最小二乘法的原理及代码实现总结处理。 1 最小二乘法原理 首先要清楚，最小二乘法要解决的是什么问题呢？根据前面的线性回归，我们知道线性回归的假设函数： 损失函数： 损失函数计算训练数据集中每一个样本实例的估计值和实际值的平方差并求平 阅读全文
posted @ 2019-09-03 23:01 Christine_7 阅读(1848) 评论(0) 推荐(0)
梯度下降小结
摘要：机器学习中，很多监督学习模型需要构建损失函数，再用优化算法对损失函数进行优化，找到最优参数。常用到的优化算法有梯度下降法和最小二乘法，这里总结梯度下降法。 1 梯度下降原理 梯度下降在求解过程中，只需要求解损失函数的一阶导数，计算代价较小。基本思想：从某一点出发，沿着变化最快的方向前进，到达一个点后 阅读全文
posted @ 2019-09-02 22:57 Christine_7 阅读(809) 评论(0) 推荐(0)