摘要：
bash遍历目录脚本traverse.sh： 运行命令：sh traverse.sh /data/test /data/test参数为想要遍历的目录。 阅读全文
摘要：
1.对象的5种基本类型 字符（character） 数值（numeric：real numbers） 整数（integer） 复数（complex）：1+2i 逻辑（logical：TRUE/FALSE） 2.对象的属性（attribute） 名称（name） 维度（dimensions：matri 阅读全文
摘要：
ambari开启nodemanager卡住，后台日志： ambari元数据中可以找到taskID=21526的表。解决方法可参考下面网址。 参考网址：https://community.hortonworks.com/questions/45395/unable-to-start-services- 阅读全文
摘要：
1.spark submit参数 For example: In client mode: 最近一直测试spark程序，对spark-submit的参数进行了调节。 通过上面图片可以看到，总共有7个节点，总共的VCores为133，总共内存为1.49TB，有3个application在运行，2个分别 阅读全文
摘要：
1.局部向量 Mllib支持2种局部向量类型：密集向量（dense）和稀疏向量（sparse）。 密集向量由double类型的数组支持，而稀疏向量则由两个平行数组支持。 example： 向量（5.2，0.0，5.5） 密集向量表示：[5.2，0.0，5.5] 稀疏向量表示：（3，[0,2]，[5. 阅读全文
摘要：
Overview Apache Shiro is a powerful and easy-to-use Java security framework that performs authentication, authorization, cryptography, and session man 阅读全文
摘要：
矩阵是元素布置成二维矩形布局的R对象。 它们包含相同原子类型的元素。 R创建矩阵的语法： 参数说明： data - 成为矩阵的数据元素输入向量。 nrow - 是要创建的行数。 ncol - 要被创建的列数。 byrow - 是一个合乎逻辑。若为True，则输入向量元素按行安排。 dimnames 阅读全文
摘要：
高级数据操作工具，将数据存储为dataframe的数据结构。 注：将brics.csv文件放到D：/Documents下。 列的获取 添加咧 行的获取 元素的获取 阅读全文
摘要：
数据可视化 1.折线图 2.散点图 3.直方图 4.轴的标签 5.标题 6.刻度 7.加入历史数据 阅读全文
摘要：
Spark1.6.2.2.3 PCA 算法介绍： 主成分分析是一种统计学方法，它使用正交转换从一系列可能相关的变量中提取线性无关变量集，提取出的变量集中的元素称为主成分。使用PCA方法可以对变量集合进行降维。下面的示例将会展示如何将5维特征向量转换为3维主成分向量。 scala代码 由于是spark 阅读全文