10 2018 档案
摘要：1.导出jar，添加依赖的第三方类库 导入第三方依赖的库. 2.添加外部依赖 添加第三方依赖库 3.打jar包 4.传输到centos 找到jar包 5.部署/soft/hive/lib下 6.注册函数 hive>add jar /soft/hive/lib/umeng.jar ; hive> 7.
阅读全文
摘要：创建hive的原生表raw_logs ,把hdfs数据加载到hive 创建分区表 准备hive 1.登录hive hive 2.创建新库 //不能使用- 可以使用下划线 create database big12_umeng; 3.建表 use big12_umeng ; //创建hive的原生表,
阅读全文
摘要：UDTF处理json 添加依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.1.0</version> </dependency> <dependency>
阅读全文
摘要：拆分日志为五个表 动态生成日志类对应的建日志表的sql 语句 1.util包下 》 LogUtil 通过内省的方式的到成员变量 2.测试并生成五个类对应的5个表的建表sql语句 代码 create table if not exists appstartuplogs ( appchannel str
阅读全文
摘要：收集kafka消息到hdfs 开hdfs start-dfs.sh 1.说明 每天上报的日志可能会含有以前的日志数据。但是每天上报的日志在一个以日期分割的目录内。 ym/day 2.umeng_kafka_to_hdfs.conf a1.sources = r1 a1.channels = c1 a
阅读全文
摘要：收集access.log数据到kafka集群 如果必要 清除原来的日志信息 xcall.sh "echo > /usr/local/openresty/nginx/logs/access.log" 开zk 开redis 开kafka 1 .kafka 主题 创建主题 kafka-topics.sh
阅读全文
摘要：代码升级 redis工具类 1 package com.star.phone.util; 2 3 4 import com.star.phone.domain.DeviceInfo; 5 import redis.clients.jedis.Jedis; 6 7 import java.util.H
阅读全文
摘要：友盟架构图1 友盟架构图2 日志生成类 package com.star.umeng.phone.domain; /** * App日志的公共属性 */ public class AppBaseLog { private Long createdAtMs; //日志创建时间 private Stri
阅读全文
摘要：Nginx实现反向代理 openresty-nginx增强版（现在使用的） localhost 反向代理到 s102--s104 http://openresty.org/cn/ 1.windows下 安装openresty,并修改nginx.conf配置文件 nginx.conf配置文件 #使用指
阅读全文
摘要：API访问redis数据库 依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependency> <dependency> <gro
阅读全文
摘要：集群模式下开启服务端 start-redis.sh 集群模式下开启客户端 redis-cli -c -h 192.168.116.101 -p 7000 集群模式下关闭服务端 stop-redis.sh 主从模式 master -- slave key： 互为副本存储 hash 相当于分桶机制 1.
阅读全文
摘要：1.下载软件包 redis-3.2.8.tar.gz 2. tar开文件到指定目录 tar -xzvf redis-3.2.8.tar.gz 3.安装 1）先安装gcc编译器 sudo yum install -y gcc 2）编译安装redis 在/home/centos/redis-3.2.8
阅读全文
摘要：spark2.11 作业提交submit源码分析 分析spark的第一步spark submit SparkSubmit scala object SparkSubmit { // Cluster managers private val YARN = 1 private val STANDALON
阅读全文
