随笔分类 - 大数据项目
摘要：1.日期工具类 import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.Locale; /** * 日期工具类 */ public clas
阅读全文
摘要：1.导出jar，添加依赖的第三方类库 导入第三方依赖的库. 2.添加外部依赖 添加第三方依赖库 3.打jar包 4.传输到centos 找到jar包 5.部署/soft/hive/lib下 6.注册函数 hive>add jar /soft/hive/lib/umeng.jar ; hive> 7.
阅读全文
摘要：创建hive的原生表raw_logs ,把hdfs数据加载到hive 创建分区表 准备hive 1.登录hive hive 2.创建新库 //不能使用- 可以使用下划线 create database big12_umeng; 3.建表 use big12_umeng ; //创建hive的原生表,
阅读全文
摘要：UDTF处理json 添加依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.1.0</version> </dependency> <dependency>
阅读全文
摘要：拆分日志为五个表 动态生成日志类对应的建日志表的sql 语句 1.util包下 》 LogUtil 通过内省的方式的到成员变量 2.测试并生成五个类对应的5个表的建表sql语句 代码 create table if not exists appstartuplogs ( appchannel str
阅读全文
摘要：收集kafka消息到hdfs 开hdfs start-dfs.sh 1.说明 每天上报的日志可能会含有以前的日志数据。但是每天上报的日志在一个以日期分割的目录内。 ym/day 2.umeng_kafka_to_hdfs.conf a1.sources = r1 a1.channels = c1 a
阅读全文
摘要：收集access.log数据到kafka集群 如果必要 清除原来的日志信息 xcall.sh "echo > /usr/local/openresty/nginx/logs/access.log" 开zk 开redis 开kafka 1 .kafka 主题 创建主题 kafka-topics.sh
阅读全文
摘要：代码升级 redis工具类 1 package com.star.phone.util; 2 3 4 import com.star.phone.domain.DeviceInfo; 5 import redis.clients.jedis.Jedis; 6 7 import java.util.H
阅读全文
摘要：友盟架构图1 友盟架构图2 日志生成类 package com.star.umeng.phone.domain; /** * App日志的公共属性 */ public class AppBaseLog { private Long createdAtMs; //日志创建时间 private Stri
阅读全文
摘要：Nginx实现反向代理 openresty-nginx增强版（现在使用的） localhost 反向代理到 s102--s104 http://openresty.org/cn/ 1.windows下 安装openresty,并修改nginx.conf配置文件 nginx.conf配置文件 #使用指
阅读全文
