摘要：
SparkR(R on Spark)编程指南 Spark 2015-06-09 28155 1评论 下载为PDF 为什么不允许复制 关注iteblog_hadoop公众号，并在这里评论区留言并且留言点赞数排名前5名的粉丝，各免费赠送一本《大数据时代的算法：机器学习、人工智能及其典型实例》，活动截止至 阅读全文
摘要：
对于初学者来说，R语言中的factor有些难以理解。如果直译factor为“因子”，使得其更加难以理解。我倾向于不要翻译，就称其为factor，然后从几个例子中理解： [html] view plain copy <span style="font-size:12px;">data <- c(1,2 阅读全文
摘要：
引言：我们维护hadoop系统的时候，必不可少需要对HDFS分布式文件系统做操作，例如拷贝一个文件/目录，查看HDFS文件系统目录下的内容，删除HDFS文件系统中的内容（文件/目录），还有HDFS管理信息，单独启动停止 namenode datanode jobtracker tasktracker 阅读全文
摘要：
1、取出当前日期 Sys.Date() [1] "2014-10-29" date() #注意：这种方法返回的是字符串类型 [1] "Wed Oct 29 20:36:07 2014" 2、在R中日期实际是double类型，是从1970年1月1日以来的天数 typeof(Sys.Date()) [1 阅读全文
摘要：
在介绍熵之前，先从另一个概念说起：信息量 世界杯决赛的两支球队中，哪支球队获得了冠军？在对球队实力没有任何了解的情况下，每支球队夺冠的概率都是1/2，所以谁获得冠军这条信息的信息量是 - log2 1/2 = 1 bit。如果信息是四强中的球队谁获得了冠军，它的信息量是 - log2 1/4 = 2 阅读全文
摘要：
用R写代码时，打字水平不高，有时候不知道乱按了一些键（现在我还不知道哪个键），光标就变成了加粗的竖直线，又改不回去。这种情况下我们可以用options函数进行光标设置，例如：options(prompt="|") |options(prompt=">") >options(prompt="|") | 阅读全文
摘要：
一、apply函数（对一个数组按行或者按列进行计算）： 使用格式为：apply(X, MARGIN, FUN, ...) 其中X为一个数组；MARGIN为一个向量（表示要将函数FUN应用到X的行还是列），若为1表示取行，为2表示取列，为c(1,2)表示行、列都计算。apply()函数的处理对象是矩阵 阅读全文
摘要：
用source函数代替繁冗的R语言打包过程 经过初级的学习和使用R语言之后我们渐渐的开始动手写自己的R语言小程序，这些小程序因为和自己的工作非常契合而变得通用性不是那么强。因此，要让它们成为一个独立的软件包而被杂志接受或者让更多的人使用似乎欠缺点火后。但是却在我们的日常工作经常要使用到这些函数代码。 阅读全文
摘要：
突然有个想法，R只能处理百万级别的数据，如果R能运行在Spark上多好！搜了下发现13年SparkR这个项目就启动了，感谢美帝！ 1.你肯定得先装个spark吧。看这：Spark本地模式与Spark Standalone伪分布模式 2.你肯定得会R吧。看这：R语言入门 3.启动SparkR就可以了 阅读全文
摘要：
数据选取与简单操作： 一、数据合并 1、merge()函数 最常用merge()函数，但是这个函数使用时候这两种情况需要注意： 1、merge(a,b)，纯粹地把两个数据集合在一起，没有沟通a、b数据集的by，这样出现的数据很多，相当于a*b条数据； 2、merge函数是匹配到a,b数据集的并，都有 阅读全文