摘要： 一、rrdtool安装1.1 安装依赖包由于rrdtool依赖的包比较多，而且包之间也存在依赖，故使用yum安装由于服务器无法联网，故使用iso文件创建本地yum源，方法见下：（1）创建iso存放目录和挂载目录mkdir /mnt/iso mkdir /mnt/cdrom（2）将iso镜像文件上传到... 阅读全文

摘要： 本文转自http://www.cnblogs.com/Scott007/p/3889959.html1 概述 Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn... 阅读全文

摘要： 1. 环境信息如下：ubuntu：14.10jdk：openjdk-1.7.0hadoop：2.6.02. 下载hadoop2.6.0,http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz本文的$HADOOP_H... 阅读全文

摘要： SparkR是AMPLab发布的一个R开发包，为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行job。例如，我们可以在HDFS上读取或写入文件，也可以使用 lapply 来定义对应每一个RDD... 阅读全文

该文被密码保护。 阅读全文

摘要： 应用场景：使用JavaHiveContext执行SQL之后，希望能得到其字段名及相应的值，但却出现"Caused by: java.io.NotSerializableException: org.apache.spark.sql.api.java.StructField"的错误，代码如下：Java... 阅读全文

摘要： Hive可以允许用户编写自己定义的函数UDF，来在查询中使用。Hive中有3种UDF：UDF：操作单个数据行，产生单个数据行；UDAF：操作多个数据行，产生一个数据行。UDTF：操作一个数据行，产生多个数据行一个表作为输出。用户构建的UDF使用过程如下：第一步：继承UDF或者UDAF或者UDTF，实... 阅读全文

摘要： 为了可以方便地在hadoop的管理界面（namenode和jobtracker）中自定义展示项，使用代理servlet的方式实现了hadoop的管理界面。首先，在org.apache.hadoop.http.HttpServer中的构造函数public HttpServer(String name,... 阅读全文

摘要： 最近用到HighChart作图，在图片导出时，出现了图片中中文乱码的问题，在网络上找了很多资料，但都没有解决，最后才发现了最容易被忽略的问题。具体见下。由于之前有同事使用过HighChart，所以毫不犹豫了之前同事使用的方法：通过自己书写servlet，利用batik工具完成不同格式图片的导出，具体... 阅读全文

摘要： Redmine是用Ruby开发的基于web的项目管理软件，是用ROR框架开发的一套跨平台项目管理系统。如下即为安装步骤：（1）配置ruby环境，可用rvm进行安装匹配，参考http://ruby-china.org/wiki/install_ruby_guide（2）下载redmine软件包svn co http://svn.redmine.org/redmine/branches/2.3-stable redmine-2.3（3）选用一种后台数据库，如mysql，postgreSQL，我在这里选择Mysql；安装mysql-client和mysql-server，另外，要注意安装mysql的 阅读全文