2017年9月2日
Hive的安装和配置
前提是：hadoop必须已经启动了*** 1°、解压hive的安装包 [crxy@master soft]# tar -zxvf apache-hive-0.14.0-bin.tar.gz -C ../ 2°、备份配置文件 [crxy@master conf]# cp hive-env.sh.tem Read More
posted @ 2017-09-02 15:04 kwz Views(235) Comments(0) Diggs(0) Edit
Linux下安装mysql（离线安装和在线安装）
一：在线安装mysql 1、首先检测一下，mysql之前有没有被安装 命令：rpm -qa | grep mysql 2、删除mysql的命令： rpm -e --nodeps `rpm -qa | grep mysql` 3、在线安装mysql命令：yum -y install mysql-ser Read More
posted @ 2017-09-02 14:53 kwz Views(19006) Comments(0) Diggs(0) Edit
hive基础及系统架构
1、hive是什么 hive是建立在hadoop上的数据仓库，提供数据的提取、转化和加载。 2、hive的数据存储 1】hive的数据存储基于hdfs 2】存储结构主要包括：数据库、文件、表、索引、视图 3】hive默认可以直接加载文本文件（TextFile）,还支持SecquenceFile、RC Read More
posted @ 2017-09-02 14:12 kwz Views(731) Comments(0) Diggs(0) Edit
Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算
目标：Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算 1、flume的配置，配置spoolDirSource_hdfsSink.properties，监控本地的一个目录，上传到hdfs一个目录下。 agent1.channels = Read More
posted @ 2017-09-02 09:10 kwz Views(435) Comments(0) Diggs(0) Edit