10 2016 档案

hive学习_01
摘要：1.构建在Hadoop之上的数据仓库(数据计算使用MR，数据存储使用HDFS) 2.Hive定义了一种类SQL查询语言 HQL 3.通常用于进行离线数据处理(非实时) 4.一个ETL工具 5.可认为是一个HQL到MapReduce的语言翻译器，将HQL转化成MP来执行 6.多维度数据分析 7.大部分 阅读全文
posted @ 2016-10-14 14:40 夏沫、微凉 阅读(192) 评论(0) 推荐(0) 编辑
集群搭建_02_集群多机版安装 HDFS HA+Federation-YARN
摘要：1.配置hosts 至少四个节点(机器) 每个节点的hosts文件都要配置这些 10.10.64.226 SY-0217 10.10.64.234 SY-0225 10.10.64.235 SY-0226 10.10.65.78 SY-0355 2.对namenode所在节点，设置ssh免密码登录( 阅读全文
posted @ 2016-10-14 14:36 夏沫、微凉 阅读(230) 评论(0) 推荐(0) 编辑
集群搭建_01_集群单机版安装
摘要：集群单机版安装 1.安装虚拟机2.建立自己的一个目录 ( /home/dongxicheng/hadoop)3.将(hadoop-2.2.0.tar.gz,jdk-6u45-linux-i586.bin)等安装包放在上面目录4.(getconf LONG_BIT) 查看系统位数， 32位 、64位， 阅读全文
posted @ 2016-10-14 14:33 夏沫、微凉 阅读(240) 评论(0) 推荐(0) 编辑
hive实践_01
摘要：本地一份包含有中文的文本文件在上传到hive前，需要先转化为UTF-8格式，否则会出现乱码。(notepad++ 格式>>>转化UTF-8编码格式) 不带分区 不带分区的表创建：(换行符\n做行分割，制表符\t做列分割) drop table if exists SCAN.ZTO_SCAN_COME 阅读全文
posted @ 2016-10-14 14:03 夏沫、微凉 阅读(194) 评论(0) 推荐(0) 编辑