摘要: 利用R语言实现支持向量机(SVM)数据挖掘案例 建立模型 svm()函数在建立支持向量机模型的时候有两种建立方式。简单地说,一种是根据既定公式建立模型;而另外一种方式则是根据所给的数据模型建立模型。 根据函数的第一种使用格式,针对上述数据建模时,应该先确定所建立的模型所使用的数据,然后再确定所建立模 阅读全文
posted @ 2018-08-28 15:33 小人物-烟火 阅读(9916) 评论(0) 推荐(0) 编辑
摘要: 支持向量机SVM算法原理及应用(R) 2016年08月17日 16:37:25 阅读数:22292更多 个人分类: 数据挖掘实战应用 支持向量机SVM算法原理及应用(R) 2016年08月17日 16:37:25 阅读数:22292更多 个人分类: 数据挖掘实战应用 支持向量机SVM算法原理及应用( 阅读全文
posted @ 2018-08-28 15:30 小人物-烟火 阅读(1005) 评论(0) 推荐(0) 编辑
摘要: R语言中很多包(package)关于神经网络,例如nnet、AMORE、neuralnet以及RSNNS。nnet提供了最常见的前馈反向传播神经网络算法。AMORE包则更进一步提供了更为丰富的控制参数,并可以增加多个隐藏层。neuralnet包的改进在于提供了弹性反向传播算法和更多的激活函数形式。R 阅读全文
posted @ 2018-08-20 19:31 小人物-烟火 阅读(2649) 评论(0) 推荐(0) 编辑
摘要: Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数:4116 Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数:4116 Hive 元数据表结构详解 Hive 元数据表结构详解 2017年06月15日 09:49:31 阅读数:4116 2017 阅读全文
posted @ 2018-08-15 10:15 小人物-烟火 阅读(619) 评论(0) 推荐(0) 编辑
摘要: 距离判别法与R程序实战 2016-03-12 18:21:48 距离判别法与R程序实战 2016-03-12 18:21:48 设mu1,mu2,cov1,cov2 分别是总体G1,G2的均值向量和协方差矩阵。一样品x到各总体的马氏距离为 D(x,G1)=mahalanobis(x,mu1,cov1 阅读全文
posted @ 2018-08-14 11:47 小人物-烟火 阅读(2387) 评论(0) 推荐(0) 编辑
摘要: Map端数据倾斜 MapReduce任务的数据倾斜一般指的是Reduce端数据倾斜,Map端怎么还会出现数据倾斜呢。~~ Mapper任务如下图所示,其中一个map任务耗时特别长 跑了一个ETL程序,两个Map分别读取两类数据,一个是lzo格式,另外一个是txt格式。 map任务通常是一个数据块一个 阅读全文
posted @ 2018-08-09 10:35 小人物-烟火 阅读(786) 评论(0) 推荐(0) 编辑
摘要: 1.要建立一个与你要用来执行命令的普通用户sugon,并且配置与oozie用户的无秘 2.在sugon用户下建立一个sh脚本,注意修改权限,将你要执行的sqoop语句放入到脚本中如下图所示 3.建立workflow 4.这里执行时遇到一个坑,运行时一直不成,很郁闷测试了很久,最后在命令行测试发现错误 阅读全文
posted @ 2018-08-07 16:38 小人物-烟火 阅读(335) 评论(0) 推荐(0) 编辑
摘要: 在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务(这就是所谓的“资源调度”) 阅读全文
posted @ 2018-08-07 11:13 小人物-烟火 阅读(1690) 评论(0) 推荐(0) 编辑
摘要: 根据网上提供的方法,在core-site.xml我添加了如下配置但是好像不管用 <property> <name>hadoop.proxyuser.oozie.groups</name> <value>*</value> </property> <property> <name>hadoop.pro 阅读全文
posted @ 2018-08-06 17:40 小人物-烟火 阅读(2557) 评论(0) 推荐(0) 编辑
摘要: 部署机器NameNode1NameNode2DataNode1DataNode2DataNode3 R安装目录/usr/local/lib64/RRStudio Server安装目录/usr/lib/rstudio-server R安装步骤1.编译前确保安装如下模块,每台机器都要执行yum inst 阅读全文
posted @ 2018-08-06 11:34 小人物-烟火 阅读(379) 评论(0) 推荐(0) 编辑