摘要：
spark java dataset api没有提供迭代器 所以处理一些列表内部数据关联转换，而不是只处理单条数据的转换得换成javaRdd api。 下面是一个简单例子。通过进入宿舍的时间 找到后面的第一条离开宿舍的记录。并合并成一条完整的宿舍的 进出记录。 这种业务，直接获得列表的当前对象，不能 阅读全文
摘要：
http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/ http://blog.csdn.net/xiangxizhishi/article/details/79 阅读全文
摘要：
1、上面的2张图主要说明hbase的存储特点 (1)、每个值（每条记录的每一个列的值）的存储，都完整的存储了rowkey、column family、column、版本(时间戳)，以及该列的值。 这样其实很浪费存储空间。对应的最直接的存储优化方案就是缩短rowkey、column family、co 阅读全文
摘要：
安装目录/usr/local/apps/phoenix/bin/ 下面是三种phoenix的安装方式 1、在线安装（不可行，要求的cdh版本不符合） 配置phoenix的下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/phoenix/apache-ph 阅读全文
摘要：
一、Cloudera manager的服务安装 包含2个： 1、 是软件包的分发、安装 此种方式安装的时候。Cloudera manager会在激活这个步骤验证软件的版本和当前cdh的兼容性。如果不符合会提示，并且不能激活。 （1）、包的在线安装 上一步中配置会打开这个界面进行：下载地址的配置。 点 阅读全文
摘要：
redis学习总结 阅读全文
摘要：
1. 教材（只有基本介绍和操作） Apache Kylin权威指南.pdf 官网公众微信号(ApacheKylin) 2. 核心概念 度量： 度量是具体考察的聚合数量值，例如：销售数量、销售金额、人均购买量。计算机一点描述就是在SQL中就是聚合函数。 例如：select cate,count(1), 阅读全文
摘要：
1、 Mycat 不支持：下面这种语法。 DELETE d from hotspot d 2、Mycat在heidisql客户端上列不出来表。但是可以正常使用。 3、导数数据通过heidisql能很顺利导入。Navicat for MySQL很难导入，得用txt格式导入。 4、1.6版本的mycat 阅读全文
摘要：
tar -zxvf apache-kylin-2.0.0-bin-cdh57.tar.gz 压缩整个kylin目录tar -rf kylin2.0_bak.gz apps解压tar -xvf kylin2.0_bak.gz 创建路径软链接ln -s apache-kylin-2.0.0-bin ky 阅读全文
摘要：
ETL实践--kettle只做源数据的抽取，其他数据转换转到hive上。 1、用hive代替kettle的数据关联的原因 (1)、公司之前的数据ELT大量使用了kettle。用kettle导原始数据速度还是蛮快的，但是如果是大表关联类的操作，效率就很差。 一方面是由于hive是用数据库来做关联，数据 阅读全文