摘要：
最近启动集群，发现服务器系统盘不够用了。查看磁盘占用情况，系统盘使用了98%，考虑到后期的需求，不得不增加数据盘，这里记录下数据盘的挂载过程。 1 确认数据盘是否存在 图中 /dev/vda是系统盘，/dev/vdb和/dev/vdc是数据盘。 2 对数据盘进行分区 在分割硬盘模式下还有如下命令： 阅读全文
摘要：
利用UCI大学公开的机器学习数据来跑线性回归，数据集是一个循环发电场的数据，共有9568个样本数据，每个数据有5列，分别是:AT（温度）, V（压力）, AP（湿度）, RH（压强）, PE（输出电力)。我们的目标是得到一个线性关系，其中AT/V/AP/RH这4个是样本特征，PE是样本输出， 也就是 阅读全文
摘要：
1 卸载旧的显卡驱动 查看linux系统中的CUDA版本: 2 下载显卡驱动 首先查看显卡型号： 可以看到我的显卡是P100，根据显卡、CUDA版本 "下载适合的驱动" ，这里有一张参照表： 下载驱动： 3 安装相关依赖包 4 有图形界面需禁用x window服务 5 禁用nouveau 禁用nou 阅读全文
摘要：
有计划地过日子，最大的感慨就是：时间太快啦~~~ 总体来说，第三季度计划完成度不高，第四季度就要多花时间了，毕竟时不待人呐！！！ 主题 | 内容 | 更新频次 | | Spark | 代码 调优| 1/1 2周 机器学习 | sklearn XGBoost lightgbm 机器学习项目up up 阅读全文
摘要：
在机器学习中，交叉验证是模型选择的常用方法。如果给定的样本数据充足，进行模型选择的一种简单方法是随机的降数据集分成：训练集（training set）、验证集（validation set）、测试集(test set)。训练集用来训练模型，验证集用来选择模型，测试集用于最终对学习方法的评估。在学习到 阅读全文
摘要：
Hadoop是Apache开源的分布式计算框架，由Java语言实现，支持对海量数据的分布式计算，其框架中最核心设计是HDFS和MapReduce。 Hadoop的优势 1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理 2 阅读全文
摘要：
Kafka是一个基于zookeeper协调的开源分布式消息系统，它最大的特性是可以实时的处理大量数据来满足各种需求场景：如基于hadoop的批处理系统、storm/spark流式处理等。它是由Linkedin开发，Scala语言编写的。 1 概述 1.1 Kafka的特性： 高吞吐量、低延迟：即使在 阅读全文
摘要：
多线程是加速程序计算的有效方式，Python的多线程模块threading上手快速简单，学习 "莫烦多线程教程" 动手操作了一遍，这里记录一下。 1 Threading 1.1 添加线程 1.2 join功能 不加join功能，线程任务还未完成便输出all done。 若要遵循顺序，在启动线程后调用 阅读全文
摘要：
1 两种方式创建多线程 1.1 第一种 定义线程类实现Runnable接口 target为Runnable接口类型 Runnable中只有一个方法—— 用来定义线程运行体 使用Runnable接口可以为多个线程提供共享的数据 在实现Runnable接口类的run方法定义中可以使用Thread的静态方 阅读全文
摘要：
1 创建数据库 命令格式： 2 删除数据库 命令格式： 3 选择数据库 命令格式： 4 数据类型： 数值、日期/时间和字符串(字符)类型。 包括严格数值数据类型( 、`SMALLINT DECIMAL NUMERIC FLOAT REAL DOUBLE PRECISION`)。 表示时间值的日期和时 阅读全文