摘要：R安装package报错： 解决方案： 安装成功！ 阅读全文
极限存储之拉链表
2016-05-17 15:23 by 猎手家园, 873 阅读, 0 推荐, 收藏, 编辑
摘要：在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态， 比如，查看某一个用户在过去某一段时间 阅读全文
CentOS6.5安装sqoop2
2016-05-17 11:39 by 猎手家园, 408 阅读, 0 推荐, 收藏, 编辑
摘要：1、下载软件：http://archive.cloudera.com/cdh5/cdh/5/ 2、解压：tar -zxvf mysofts/sqoop2-1.99.5-cdh5.6.0.tar.gz 3、配置环境变量 4、拷贝mysql驱动包到 $SQOOP2_HOME/server/lib下 驱动 阅读全文
CentOS6.5 安装Kafka集群
2016-05-17 11:34 by 猎手家园, 1396 阅读, 0 推荐, 收藏, 编辑
摘要：1、安装zookeeper 参考文档：http://www.cnblogs.com/hunttown/p/5452138.html 2、下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tg 阅读全文
CentOS6.5 安装Storm集群
2016-05-17 11:26 by 猎手家园, 737 阅读, 0 推荐, 收藏, 编辑
摘要：1、首先安装依赖包 2、安装 zeromq 下载：http://download.zeromq.org/zeromq-4.1.2.tar.gz 解压：tar xzf zeromq-4.1.2.tar.gz 编译安装： 3、安装 jzmq (先安装JDK） 安装git： 或 如果不安装git，则使用w 阅读全文
CentOS6.5 安装Spark集群
2016-05-17 11:14 by 猎手家园, 1607 阅读, 2 推荐, 收藏, 编辑
摘要：一、安装依赖软件Scala（所有节点） 1、下载Scala：http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2、解压： 3、配置scala环境变量 4、测试scala运行环境 二、安装spark 1、下载spark：http://ar 阅读全文
Linux下修改MySQL数据库字符编码为UTF-8解决中文乱码
2016-05-17 11:00 by 猎手家园, 5368 阅读, 0 推荐, 收藏, 编辑
摘要：由于MySQL编码原因会导致数据库出现乱码。 解决办法： 修改MySQL数据库字符编码为UTF-8，UTF-8包含全世界所有国家需要用到的字符,是国际编码。 具体操作： 1、进入MySQL控制台 2、修改mysql配置文件 3、重启MySQL服务 MySQL数据库字符集编码修改完成！ 参数说明： c 阅读全文
ODS与DW之间的关系
2016-05-13 09:22 by 猎手家园, 7134 阅读, 0 推荐, 收藏, 编辑
摘要：1、什么是数据仓库？ 数据仓库是面向主题的、集成的、相对稳定的、反应历史变化的数据集合，主要用于决策支持和信息的全局共享。 时效：T+1 2、什么是ODS？ ODS全称为Operational Data Store，即操作型数据存储，是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合 阅读全文
如何使用Hive&R从Hadoop集群中提取数据进行分析
2016-05-12 16:02 by 猎手家园, 7257 阅读, 0 推荐, 收藏, 编辑
摘要：一个简单的例子！ 环境：CentOS6.5 Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 1、分析题目 --有一个用户数据样本（表名huserinfo）10万数据左右；--其中有一个字段：身份证号（id_card）--身份证号前两位代表：省，例如：11北京，12天津， 阅读全文
CentOS6.5下实现R绘图
2016-05-12 13:31 by 猎手家园, 1937 阅读, 0 推荐, 收藏, 编辑
摘要：1、首先安装R的绘图包Cairo 下载地址：http://www.rforge.net/Cairo/files/ 2、检查 兼容性的检查Cairo支持的图形输出格式： 支持：png、jpeg、pdf、svg、ps、x11(Linux桌面)、raster 不支持：tiff、win（windows桌面） 阅读全文