摘要：
使用JAVA API 解析ORC File orc File 的解析过程中，使用FileInputFormat的getSplits(conf, 1)函数， 然后使用 RecordReaderreader = in.getRecordReader(splits[0], conf, Reporter.N 阅读全文
摘要：
spark Graph 的PregelAPI 理解和使用 图本质上是一种递归的数据结构，可以使用Spark GraphX 的PregelAPI接口对图数据进行批量计算， 之前一直不怎么理解Pregel计算模型，因此花点时间整理一下，该api的理解以及使用方法等。 1、Pregel的计算模型 Preg 阅读全文
摘要：
neo4j CQL 使用 1. create命令 2. MATCH命令 阅读全文
摘要：
neo4j图数据安装以及基本操作命令 neo4j安装配置使用， 安装环境：Ubuntu系统 jdk1.8 (neo4j 只支持jdk1.8以上版本) 1. 下载 neo4j neo4j的下载window可以下载 exe 安装包。 Linux 环境 可以下载NEO4J SERVER，分为免费的社区版（ 阅读全文
摘要：
运行spark官方的graphx 示例 ComprehensiveExample.scala报错解决 在Idea中，直接运行ComprehensiveExample.scala，报需要指定master异常。 修改源码：指定master为local模式， 继续运行，报如下错误： com.google. 阅读全文
摘要：
hbase启动慢 hbase启动非常慢，要几个小时，查看日志，发现有如下异常信息： 于是将提示的文件删除（mv到tmp目录下）：几分钟就启动完成了。 阅读全文
摘要：
standby namenode无法启动 现象：线上使用的2.5.0 cdh5.3.2版本Hadoop，开启了了NameNode HA，HA采用QJM方式。hadoop的集群的namenode的standby节点宕掉，重启无法启动成功。 1. standby namenode出现异常时的现象 异常现 阅读全文
摘要：
使用hadoop daemon.sh 启动bootstrapStandby nameNode异常 启动bootstrapStandby nameNode时，直接通过ssh 过去执行该命令，一直无法成功，使用的命令如下： 查看，namenode的.out启动日志发现如下现象： hadoop hadoo 阅读全文
摘要：
环境：Hadoop 2.6.0 + hive-0.14.0 问题出现的背景：在hive中建表 （建表语句如下），并且表的字段中有Map，Set,Collection等集合类型。 CREATE EXTERNAL TABLE agnes_app_hour( start_id string, current_time string, app_name string, app_version s... 阅读全文
摘要：
azkaban作业参数使用介绍 参数传递是调度系统工作流运行时非常重要的一部分，工作流的执行，单个作业的执行，多个工作流之间的依赖执行，历史任务重算，都涉及参数传递和同步。 azkaban的工作流中的参数可以分为如下几个类型：azkaban UI 页面输入参数， 环境变量参数， job作业文件中定义 阅读全文