摘要:R安装package报错: 解决方案: 安装成功! 阅读全文
极限存储之拉链表
2016-05-17 15:23 by 猎手家园, 873 阅读, 0 推荐, 收藏, 编辑
摘要:在数据仓库的数据模型设计过程中,经常会遇到这样的需求: 1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态, 比如,查看某一个用户在过去某一段时间 阅读全文
CentOS6.5安装sqoop2
2016-05-17 11:39 by 猎手家园, 408 阅读, 0 推荐, 收藏, 编辑
摘要:1、下载软件:http://archive.cloudera.com/cdh5/cdh/5/ 2、解压:tar -zxvf mysofts/sqoop2-1.99.5-cdh5.6.0.tar.gz 3、配置环境变量 4、拷贝mysql驱动包到 $SQOOP2_HOME/server/lib下 驱动 阅读全文
CentOS6.5 安装Kafka集群
2016-05-17 11:34 by 猎手家园, 1396 阅读, 0 推荐, 收藏, 编辑
摘要:1、安装zookeeper 参考文档:http://www.cnblogs.com/hunttown/p/5452138.html 2、下载:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tg 阅读全文
CentOS6.5 安装Storm集群
2016-05-17 11:26 by 猎手家园, 737 阅读, 0 推荐, 收藏, 编辑
摘要:1、首先安装依赖包 2、安装 zeromq 下载:http://download.zeromq.org/zeromq-4.1.2.tar.gz 解压:tar xzf zeromq-4.1.2.tar.gz 编译安装: 3、安装 jzmq (先安装JDK) 安装git: 或 如果不安装git,则使用w 阅读全文
CentOS6.5 安装Spark集群
2016-05-17 11:14 by 猎手家园, 1607 阅读, 2 推荐, 收藏, 编辑
摘要:一、安装依赖软件Scala(所有节点) 1、下载Scala:http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2、解压: 3、配置scala环境变量 4、测试scala运行环境 二、安装spark 1、下载spark:http://ar 阅读全文
Linux下修改MySQL数据库字符编码为UTF-8解决中文乱码
2016-05-17 11:00 by 猎手家园, 5368 阅读, 0 推荐, 收藏, 编辑
摘要:由于MySQL编码原因会导致数据库出现乱码。 解决办法: 修改MySQL数据库字符编码为UTF-8,UTF-8包含全世界所有国家需要用到的字符,是国际编码。 具体操作: 1、进入MySQL控制台 2、修改mysql配置文件 3、重启MySQL服务 MySQL数据库字符集编码修改完成! 参数说明: c 阅读全文
ODS与DW之间的关系
2016-05-13 09:22 by 猎手家园, 7134 阅读, 0 推荐, 收藏, 编辑
摘要:1、什么是数据仓库? 数据仓库是面向主题的、集成的、相对稳定的、反应历史变化的数据集合,主要用于决策支持和信息的全局共享。 时效:T+1 2、什么是ODS? ODS全称为Operational Data Store,即操作型数据存储,是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合 阅读全文
如何使用Hive&R从Hadoop集群中提取数据进行分析
2016-05-12 16:02 by 猎手家园, 7257 阅读, 0 推荐, 收藏, 编辑
摘要:一个简单的例子! 环境:CentOS6.5 Hadoop集群、Hive、R、RHive,具体安装及调试方法见博客内文档。 1、分析题目 --有一个用户数据样本(表名huserinfo)10万数据左右;--其中有一个字段:身份证号(id_card)--身份证号前两位代表:省,例如:11北京,12天津, 阅读全文
CentOS6.5下实现R绘图
2016-05-12 13:31 by 猎手家园, 1937 阅读, 0 推荐, 收藏, 编辑
摘要:1、首先安装R的绘图包Cairo 下载地址:http://www.rforge.net/Cairo/files/ 2、检查 兼容性的检查Cairo支持的图形输出格式: 支持:png、jpeg、pdf、svg、ps、x11(Linux桌面)、raster 不支持:tiff、win(windows桌面) 阅读全文