摘要: 1. 流量分析 a. 基础指标多维度统计分析 统计 PageView 浏览次数(pv) select count(*) from ods_weblog_detail where datestr ="20181101" and valid = "true"; 排除静态资源 统计Unique Visit 阅读全文
posted @ 2019-10-15 21:02 单词计数程序大牛 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 1. Hive基本操作 a. DML操作 load:加载时只是把数据文件移动到hive表对应的位置。 loacl如果指定了就在本地的文件系统,local会将本地文件系统的文件复制到目标文件系统中。 overwrite:如果使用了overwrite目标表或者分区中的内容就会被覆盖。 loacl如果指定 阅读全文
posted @ 2019-10-15 19:41 单词计数程序大牛 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 1. 读取myuser这张表当中的数据写入到HBase的另外一张表当中去 package com.itheima; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; impor 阅读全文
posted @ 2019-10-15 17:18 单词计数程序大牛 阅读(205) 评论(0) 推荐(0) 编辑
摘要: package com.itheima; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import or 阅读全文
posted @ 2019-10-15 14:30 单词计数程序大牛 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 1. Hbase与hive的对比 A. Hive(数据仓库):Hive的本质其实就相当于将HDFS中已经存储的文件在mysql中做了一个双射关系,以便使用HSQL查询。hive适用于离线数据的分析和清洗,延迟较高。hive基于hdfs和mapreduce。 B. HBase(数据库):列式存储的非关 阅读全文
posted @ 2019-10-15 09:59 单词计数程序大牛 阅读(235) 评论(0) 推荐(0) 编辑