摘要:
1. 流量分析 a. 基础指标多维度统计分析 统计 PageView 浏览次数(pv) select count(*) from ods_weblog_detail where datestr ="20181101" and valid = "true"; 排除静态资源 统计Unique Visit 阅读全文
摘要:
1. Hive基本操作 a. DML操作 load:加载时只是把数据文件移动到hive表对应的位置。 loacl如果指定了就在本地的文件系统,local会将本地文件系统的文件复制到目标文件系统中。 overwrite:如果使用了overwrite目标表或者分区中的内容就会被覆盖。 loacl如果指定 阅读全文
摘要:
1. 读取myuser这张表当中的数据写入到HBase的另外一张表当中去 package com.itheima; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; impor 阅读全文
摘要:
package com.itheima; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import or 阅读全文
摘要:
1. Hbase与hive的对比 A. Hive(数据仓库):Hive的本质其实就相当于将HDFS中已经存储的文件在mysql中做了一个双射关系,以便使用HSQL查询。hive适用于离线数据的分析和清洗,延迟较高。hive基于hdfs和mapreduce。 B. HBase(数据库):列式存储的非关 阅读全文