短发大秦

摘要： 五、 RHive的安装及测试RHive依赖于Rserve，所有首先需要安装Rserve(在各个namenode上)，接下来在所有节点上启动Rserve：> sudo R > install.packages("Rserve") > q() > Rserve --RS-conf /usr/l... 阅读全文

摘要： 三、 rmr2的安装和测试 rmr2是map/reduce程序执行的核心部分，需要依赖hadoop-streaming-XXX.jar。rmr2库需要依赖bitops和 caTools两个库，而这两个库都不能直接通过R的install.packages()获得，需要先去cran上下载再安装，同样... 阅读全文

摘要： 最近需要在hadoop上集成R语言环境进行统计分析任务，考虑用到RHadoop。但是由于集群上的hadoop并非原生态hadoop，而是cloudera集成的版本，并且由于系统上kerberos和sentry的安全管理机制，给集成RHadoop造成了不小的麻烦。网上搜索的步骤和问题有一些已经过... 阅读全文

摘要： 这些都是典型的使用GNU的AUTOCONF和AUTOMAKE产生的程序的安装步骤。./configure是用来检测你的安装平台的目标特征的。比如它会检测你是不是有CC或GCC，并不是需要CC或GCC，它是个shell脚本。make是用来编译的，它从Makefile中读取指令，然后编译。make install是用来安装的，它也从Makefile中读取指令，安装到指定的位置。AUTOMAKE和AUTOCONF是非常有用的用来发布C程序的东西。如果你也写程序想使用AUTOMAKE和AUTOCONF，可以参考CNGNU.ORG上的相关文章。1、configure，这一步一般用来生成 Makefile 阅读全文

摘要： （一）： Hive 是什么 在接触一个新的事物首先要回到的问题是：这是什么？ 这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put structures on the data, and the capability to querying and analysis of large data sets stored in Hadoop files. Hiv 阅读全文