上一页 1 ··· 7 8 9 10 11
2017年8月22日
Hadoop离线项目介绍
摘要： Hadoop离线项目介绍（不包括程序） Hadoop离线项目介绍（不包括程序） 一：项目场景 1.需求分析 根据用户行为数据进行程序的处理，得到结果保存到关系型数据库中 需要收集用户(系统使用者)在不同客户端上产生的用户行为数据，最终保存到hdfs上 需要明确收集字段的相关信息，而且需要考虑到后期的 阅读全文
posted @ 2017-08-22 21:59 因为专注。所以专业 阅读(381) 评论(0) 推荐(0) 编辑
ETL的数据来源，处理，保存
摘要： ETL的数据来源，处理，保存 ETL的数据来源，处理，保存 1.ETL 数据来源：HDFS 处理方式：Mapreduce 数据保存：HBase 2.为什么保存在Hbase中 数据字段格式不唯一/不相同/不固定，采用hbase的动态列的功能非常适合 因为我们的分析一般情况下，是对于部分事件数据进行分析 阅读全文
posted @ 2017-08-22 21:54 因为专注。所以专业 阅读(431) 评论(0) 推荐(0) 编辑
再次整理关于hadoop中yarn的原理及运行
摘要： 关于hadoop中yarn的运行原理整理 一：对yarn的理解 1.关于yarn的组成 大约分成主要的四个。 Resourcemanager，Nodemanager，Applicationmaster，container 2.Resourcemanager（RM）的理解 RM是全局资源管理器，负责整 阅读全文
posted @ 2017-08-22 21:42 因为专注。所以专业 阅读(235) 评论(0) 推荐(0) 编辑
2017年4月27日
SparkR
摘要： SparkR 支持原创：http://blog.csdn.net/dr_guo/article/details/51377784 突然有个想法，R只能处理百万级别的数据，如果R能运行在Spark上多好！搜了下发现13年SparkR这个项目就启动了，感谢美帝！ 1.你肯定得先装个spark吧。看这：S 阅读全文
posted @ 2017-04-27 20:28 因为专注。所以专业 阅读(630) 评论(0) 推荐(0) 编辑
RHive
摘要： R + Hive = RHive 支持原创：http://blog.fens.me/nosql-r-hive/ R利剑NoSQL系列文章 之 Hive Hive介绍 Hive安装 RHive安装 RHive函数库 RHive基本使用操作 1. Hive介绍 Hive是建立在Hadoop上的数据仓库基 阅读全文
posted @ 2017-04-27 20:20 因为专注。所以专业 阅读(997) 评论(2) 推荐(0) 编辑
2017年4月8日
Hive学习笔记
摘要： Hive 学习笔记 1、Hive安装（只在主节点上安装） （1）下载安装包到/usr/app/目录下 （2）解压 （3）修改配置文件/etc/profile（添加 export HIVE_HOME=/usr/local/hive-0.9.0-bin export HADOOP_HOME=/usr/l 阅读全文
posted @ 2017-04-08 12:27 因为专注。所以专业 阅读(584) 评论(0) 推荐(0) 编辑
数据仓库Hive数据导入导出
摘要： Hive库数据导入导出 1、新建表data hive (ebank)> create table data(id int,name string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY'\t' > stored as textfile; OK T 阅读全文
posted @ 2017-04-08 12:21 因为专注。所以专业 阅读(824) 评论(0) 推荐(0) 编辑
上一页 1 ··· 7 8 9 10 11