03 2017 档案

R的数据结构
摘要：1.对象的5种基本类型 字符（character） 数值（numeric：real numbers） 整数（integer） 复数（complex）：1+2i 逻辑（logical：TRUE/FALSE） 2.对象的属性（attribute） 名称（name） 维度（dimensions：matri 阅读全文
posted @ 2017-03-30 11:54 派。 阅读(256) 评论(0) 推荐(0) 编辑
Unable to start services through AMBARI UI
摘要：ambari开启nodemanager卡住，后台日志： ambari元数据中可以找到taskID=21526的表。解决方法可参考下面网址。 参考网址：https://community.hortonworks.com/questions/45395/unable-to-start-services- 阅读全文
posted @ 2017-03-22 15:25 派。 阅读(322) 评论(0) 推荐(0) 编辑
Spark on YARN资源申请
摘要：1.spark submit参数 For example: In client mode: 最近一直测试spark程序，对spark-submit的参数进行了调节。 通过上面图片可以看到，总共有7个节点，总共的VCores为133，总共内存为1.49TB，有3个application在运行，2个分别 阅读全文
posted @ 2017-03-16 15:16 派。 阅读(1070) 评论(0) 推荐(0) 编辑
Mllib数据类型（密集向量和稀疏向量）
摘要：1.局部向量 Mllib支持2种局部向量类型：密集向量（dense）和稀疏向量（sparse）。 密集向量由double类型的数组支持，而稀疏向量则由两个平行数组支持。 example： 向量（5.2，0.0，5.5） 密集向量表示：[5.2，0.0，5.5] 稀疏向量表示：（3，[0,2]，[5. 阅读全文
posted @ 2017-03-04 08:45 派。 阅读(2555) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示