04 2017 档案
摘要：1 范数 向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。 向量的范数定义：向量的范数是一个函数||x||,满足非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。 常用的向
阅读全文
摘要：SparkR-Install SparkR-Install 时间：2017-03-30 23:05:18 阅读：17 评论：0 收藏：0 [点我收藏+] 标签：too 下载 安装jdk context writing 磁盘 anti 1.5 products 1.下载R https://cran.r
阅读全文
摘要：R语言扩展包dplyr——数据清洗和整理 R语言扩展包dplyr——数据清洗和整理 标签： 数据R语言数据清洗数据整理 2015-01-22 18:04 7357人阅读 评论(0) 收藏 举报 标签： 数据R语言数据清洗数据整理 2015-01-22 18:04 7357人阅读 评论(0) 收藏 举
阅读全文
摘要：人工神经网络（ANN），简称神经网络，是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来
阅读全文
摘要：sparkR在spark2.0里面，RDD后端代码位于org.apache.spark.rdd中，R语言相关的位于org.apache.spark.api.r中。 从入口开始，./bin/sparkR里面只有四句话，调用的是这个 spark-submit里面是个一句话的shell脚本 好了，入口是o
阅读全文
摘要：data.frame类型数据如何将第一列值替换为行号
阅读全文
摘要：library(dplyr) unite(mtcars, "vs_am", vs, am) Merging Data Adding Columns To merge two data frames (datasets) horizontally, use the merge function. In
阅读全文
摘要：数据排序 1、sort()，rank()，order()函数 Sort 排序（默认升序，decreasing=T时为降序） Order 排序（默认升序，decreasing=T时为降序） 在R中，和排序相关的函数主要有三个：sort()，rank()，order()。 sort(x)是对向量x进行排
阅读全文
摘要：rbind 使用方式 合并两个数据集，要求两个数据集的列数相等： rbind(parameter1,parameter2) 1 1 合并多个数据集，各个数据集的列数相等： rbind(parameter1,parameter2,...,parametern) 1 1 从数据集中提取数据 test <
阅读全文
摘要：R软件一个显著的优点是它提供了丰富的随机数发生器，比SAS、Matlab方面很多，比Excel更不知方便到哪里去了。这无疑为统计学、工程学以及寿险精算学提供了很大的方便，比如我们要产生200个服从正态分布的随机数，在R里面用只需要键入“rnorm(200)”即可得到。操作如下： >rnorm(200
阅读全文
摘要：R语言中的横向数据合并merge及纵向数据合并rbind的使用 我们经常会遇到两个数据框拥有相同的时间或观测值，但这些列却不尽相同。处理的办法就是使用merge(x, y ,by.x = ,by.y = ,all = ) 函数。 #合并ID<-c(1,2,3,4)name<-c("A","B","C
阅读全文
摘要：R语言学习笔记：向量 向量是R语言最基本的数据类型。 单个数值(标量)其实没有单独的数据类型，它只不过是只有一个元素的向量。 x <- c(1, 2, 4, 9) x <- c(x[1:3], 88, x[4]) #在最后一个数前面插入一个数值88，可以看到用x[4]可以取出第4个元素，用x[1:3
阅读全文
摘要：R语言系列：生成数据 (2014-05-04 17:41:57) 转载▼ R语言系列：生成数据 转载▼ 标签： r语言 教育 分类： 生物信息 r语言 教育 生成规则数据1、使用“:“，如x=1:10，注意该方法既可以递增也可以递减，如y=10:12、seq，有两种用法：①seq(起点，终点，步长)
阅读全文
摘要：（转载）SPARKR，对RDD操作的介绍 原以为，用sparkR不能做map操作， 搜了搜发现可以。 lapply等同于map, 但是不能操作spark RDD. spark2.0以后， sparkR增加了 dapply， dapplycollect 可以操作spark RDD. 原文地址： htt
阅读全文
摘要：简单说下安装过程，一般不会有问题，重点是RMySQL的使用方式。 系统环境说明 Redhat系统：Linux 460-42.6.32-431.29.2.el6.x86_64 系统编码：LANG=zh_CN.UTF-8（中文UTF-8格式） MySQL版本：mysql Ver 14.14 Distri
阅读全文
摘要：sparkR介绍及安装 SparkR是AMPLab发布的一个R开发包，为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行job。例如，我们可以在HDFS上读取或写入文件，也可以使用 lapply
阅读全文
摘要：最近在看决策树的模型，其中涉及到信息熵的计算，这里东西是由信号处理中来的，理论部分我就不再重复前人的东西了，下面给出两个简单的公式： 当然学习过信号与系统的童鞋一定觉得这不是香农提出的东西吗？O(∩_∩)O~没错，就是这个东西，只不过我们用在了机器学习上，好了下面就看代码吧，这些代码也很简单，我们知
阅读全文
摘要：SparkR(R on Spark)编程指南 Spark 2015-06-09 28155 1评论 下载为PDF 为什么不允许复制 关注iteblog_hadoop公众号，并在这里评论区留言并且留言点赞数排名前5名的粉丝，各免费赠送一本《大数据时代的算法：机器学习、人工智能及其典型实例》，活动截止至
阅读全文
摘要：对于初学者来说，R语言中的factor有些难以理解。如果直译factor为“因子”，使得其更加难以理解。我倾向于不要翻译，就称其为factor，然后从几个例子中理解： [html] view plain copy <span style="font-size:12px;">data <- c(1,2
阅读全文
摘要：在介绍熵之前，先从另一个概念说起：信息量 世界杯决赛的两支球队中，哪支球队获得了冠军？在对球队实力没有任何了解的情况下，每支球队夺冠的概率都是1/2，所以谁获得冠军这条信息的信息量是 - log2 1/2 = 1 bit。如果信息是四强中的球队谁获得了冠军，它的信息量是 - log2 1/4 = 2
阅读全文
摘要：1、取出当前日期 Sys.Date() [1] "2014-10-29" date() #注意：这种方法返回的是字符串类型 [1] "Wed Oct 29 20:36:07 2014" 2、在R中日期实际是double类型，是从1970年1月1日以来的天数 typeof(Sys.Date()) [1
阅读全文
摘要：引言：我们维护hadoop系统的时候，必不可少需要对HDFS分布式文件系统做操作，例如拷贝一个文件/目录，查看HDFS文件系统目录下的内容，删除HDFS文件系统中的内容（文件/目录），还有HDFS管理信息，单独启动停止 namenode datanode jobtracker tasktracker
阅读全文
摘要：用R写代码时，打字水平不高，有时候不知道乱按了一些键（现在我还不知道哪个键），光标就变成了加粗的竖直线，又改不回去。这种情况下我们可以用options函数进行光标设置，例如：options(prompt="|") |options(prompt=">") >options(prompt="|") |
阅读全文
摘要：一、apply函数（对一个数组按行或者按列进行计算）： 使用格式为：apply(X, MARGIN, FUN, ...) 其中X为一个数组；MARGIN为一个向量（表示要将函数FUN应用到X的行还是列），若为1表示取行，为2表示取列，为c(1,2)表示行、列都计算。apply()函数的处理对象是矩阵
阅读全文
摘要：用source函数代替繁冗的R语言打包过程 经过初级的学习和使用R语言之后我们渐渐的开始动手写自己的R语言小程序，这些小程序因为和自己的工作非常契合而变得通用性不是那么强。因此，要让它们成为一个独立的软件包而被杂志接受或者让更多的人使用似乎欠缺点火后。但是却在我们的日常工作经常要使用到这些函数代码。
阅读全文
摘要：突然有个想法，R只能处理百万级别的数据，如果R能运行在Spark上多好！搜了下发现13年SparkR这个项目就启动了，感谢美帝！ 1.你肯定得先装个spark吧。看这：Spark本地模式与Spark Standalone伪分布模式 2.你肯定得会R吧。看这：R语言入门 3.启动SparkR就可以了
阅读全文
摘要：数据选取与简单操作： 一、数据合并 1、merge()函数 最常用merge()函数，但是这个函数使用时候这两种情况需要注意： 1、merge(a,b)，纯粹地把两个数据集合在一起，没有沟通a、b数据集的by，这样出现的数据很多，相当于a*b条数据； 2、merge函数是匹配到a,b数据集的并，都有
阅读全文
摘要：1 R的下载、安转 R有很多的版本，支持目前主流的操作系统MAC、Linux和WINDOWS系列。因为我个人是在WINDOWS下用R的，所以在这里将只介绍WINDOWS下R的下载&安装。 下载R： 你可以从世界各地很多网站上下载到R，官方的中国下载点是： http://www.lmbe.seu.ed
阅读全文
摘要：数据库是极其重要的R语言数据导入源数据之地，读入包有sqldf、RODBC等。跟SQL server相连有RODBC，跟MySQL链接的有RMySQL。但是在R里面，回传文本会出现截断的情况，这一情况可把我弄得有点手足无措。 一、数据库读入——RODBC包 CRAN 里面的包 RODBC 提供了 O
阅读全文
摘要：笔者寄语：小规模的读取数据的方法较为简单并且多样，但是，批量读取目前看到有以下几种方法：xlsx包、RODBC包、批量转化成csv后读入。 R语言中还有一些其他较为普遍的读入，比如代码包，R文件，工作空间等。 source #读取R代码dget #读取R文件load #读取工作空间 ————————
阅读全文
摘要：版权声明：本文为博主原创文章，未经博主允许不得转载。 版权声明：本文为博主原创文章，未经博主允许不得转载。 目录(?)[+] 目录(?)[+] R语言连接数据库常用的方法有2种： 1、使用R数据库接口 连接MySQL，使用RMySQL包，使用前RMySQL包要先安装。 library(RMySQL)
阅读全文
摘要：R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长。现在已不仅仅是统计领域，教育，银行，电商，互联网….都在使用R语言。 要成为有理想的极客，我们不能停留在语法上，要掌握牢固的数
阅读全文
摘要：运行mysql时，提示Table ‘performance_schema.session_variables’ doesn’t exist 解决的方法是： 1 1 1 2 1 2 再次运行MySQL，就解决了。 注意，两步缺一不可。
阅读全文
摘要：1. download rpm包先确定系统版本[root@xcldtc5m /]# cat /proc/versionLinux version 2.6.32-431.el6.x86_64 (mockbuild@c6b8.bsys.dev.centos.org) (gcc version 4.4.7
阅读全文
摘要：运行mysql时，提示Table ‘performance_schema.session_variables’ doesn’t exist 解决的方法是： 再次运行mysql，就解决了。 注意，两步缺一不可。
阅读全文
摘要：操作系统：CentOS 6.8 MySQL版本：Community 5.7.17 预备：下载MySQL的common, libs, client, devel, server五个rpm包，CentOS对应的版本是RedHat/Oracle 注：使用root用户安装，非root用户只能用源码编译安装
阅读全文
摘要：RPM包安装方式的MySQL卸载 1： 检查是否安装了MySQL组件。 [root@DB-Server init.d]# rpm -qa | grep -i mysql MySQL-devel-5.6.23-1.linux_glibc2.5 MySQL-client-5.6.23-1.linux_g
阅读全文
摘要：R语言使用RMySQL连接及读写Mysql数据库 R语言使用RMySQL连接及读写Mysql数据库 简单说下安装过程，一般不会有问题，重点是RMySQL的使用方式。 系统环境说明 Redhat系统：Linux 460-42.6.32-431.29.2.el6.x86_64 系统编码：LANG=zh_
阅读全文
