star521

2018年10月31日

摘要：创建hive的原生表raw_logs ,把hdfs数据加载到hive 创建分区表准备hive 1.登录hive hive 2.创建新库 //不能使用- 可以使用下划线 create database big12_umeng; 3.建表 use big12_umeng ; //创建hive的原生表, 阅读全文

posted @ 2018-10-31 00:26 star521 阅读(178) 评论(0) 推荐(0) 编辑

08 友盟项目--拆分日志为五个表---UDTF自定义函数

摘要： UDTF处理json 添加依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>2.1.0</version> </dependency> <dependency> 阅读全文

posted @ 2018-10-31 00:19 star521 阅读(358) 评论(0) 推荐(0) 编辑

2018年10月30日

07 友盟项目--拆分日志为五个表---动态生成日志类对应的建日志表的sql 语句-创建表

摘要：拆分日志为五个表动态生成日志类对应的建日志表的sql 语句 1.util包下》 LogUtil 通过内省的方式的到成员变量 2.测试并生成五个类对应的5个表的建表sql语句代码 create table if not exists appstartuplogs ( appchannel str 阅读全文

posted @ 2018-10-30 19:13 star521 阅读(297) 评论(0) 推荐(0) 编辑

05 友盟项目--通过flume-kafka消息到hdfs

摘要：收集kafka消息到hdfs 开hdfs start-dfs.sh 1.说明每天上报的日志可能会含有以前的日志数据。但是每天上报的日志在一个以日期分割的目录内。 ym/day 2.umeng_kafka_to_hdfs.conf a1.sources = r1 a1.channels = c1 a 阅读全文

posted @ 2018-10-30 16:00 star521 阅读(283) 评论(0) 推荐(0) 编辑

04 友盟项目--access.log日志通过flume传入kafka集群

摘要：收集access.log数据到kafka集群如果必要清除原来的日志信息 xcall.sh "echo > /usr/local/openresty/nginx/logs/access.log" 开zk 开redis 开kafka 1 .kafka 主题创建主题 kafka-topics.sh 阅读全文

posted @ 2018-10-30 15:57 star521 阅读(439) 评论(0) 推荐(0) 编辑

03.友盟项目--原始日志数据生成（改进版）---redis存储用户设备的信息

摘要：代码升级 redis工具类 1 package com.star.phone.util; 2 3 4 import com.star.phone.domain.DeviceInfo; 5 import redis.clients.jedis.Jedis; 6 7 import java.util.H 阅读全文

posted @ 2018-10-30 15:50 star521 阅读(196) 评论(0) 推荐(0) 编辑

2018年10月28日

02.友盟项目--原始日志数据生成

摘要：友盟架构图1 友盟架构图2 日志生成类 package com.star.umeng.phone.domain; /** * App日志的公共属性 */ public class AppBaseLog { private Long createdAtMs; //日志创建时间 private Stri 阅读全文

posted @ 2018-10-28 13:58 star521 阅读(580) 评论(0) 推荐(0) 编辑

01.友盟项目--nginx服务器配置

摘要： Nginx实现反向代理 openresty-nginx增强版（现在使用的） localhost 反向代理到 s102--s104 http://openresty.org/cn/ 1.windows下安装openresty,并修改nginx.conf配置文件 nginx.conf配置文件 #使用指阅读全文

posted @ 2018-10-28 13:38 star521 阅读(272) 评论(0) 推荐(0) 编辑

2018年10月27日

3.API访问redis数据库、redis集群

摘要： API访问redis数据库依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependency> <dependency> <gro 阅读全文

posted @ 2018-10-27 20:56 star521 阅读(692) 评论(0) 推荐(0) 编辑

2.redis集群搭建

摘要：集群模式下开启服务端 start-redis.sh 集群模式下开启客户端 redis-cli -c -h 192.168.116.101 -p 7000 集群模式下关闭服务端 stop-redis.sh 主从模式 master -- slave key：互为副本存储 hash 相当于分桶机制 1. 阅读全文

posted @ 2018-10-27 20:46 star521 阅读(193) 评论(0) 推荐(0) 编辑

1.redis安装

摘要： 1.下载软件包 redis-3.2.8.tar.gz 2. tar开文件到指定目录 tar -xzvf redis-3.2.8.tar.gz 3.安装 1）先安装gcc编译器 sudo yum install -y gcc 2）编译安装redis 在/home/centos/redis-3.2.8 阅读全文

posted @ 2018-10-27 20:43 star521 阅读(168) 评论(0) 推荐(0) 编辑

2018年10月16日

01 spark2.11-作业提交submit源码分析

摘要： spark2.11 作业提交submit源码分析分析spark的第一步spark submit SparkSubmit scala object SparkSubmit { // Cluster managers private val YARN = 1 private val STANDALON 阅读全文

posted @ 2018-10-16 10:57 star521 阅读(178) 评论(0) 推荐(0) 编辑

2018年9月28日

02.Scala--lazy关键字定义变量--使用时才初始化

摘要： scala的lazy关键字的使用和理解变量的初始化延迟，表达式不会被重复计算。就像java中实现懒汉式的单例在Scala中，使用lazy关键字来实现延迟执行，如果使用了 lazy 定义某一个变量，则这个变量只有在被使用时才会执行初始化 1.不使用懒值定义立即实例化执行结果 2.使用la 阅读全文

posted @ 2018-09-28 21:38 star521 阅读(712) 评论(0) 推荐(0) 编辑

2018年9月27日

IDEA---scala创建工程

摘要：创建工程创建类阅读全文

posted @ 2018-09-27 17:06 star521 阅读(121) 评论(0) 推荐(0) 编辑

01.scala安装

摘要：方式1：解压包解压缩环境变量配置测试方式二：msi文件安装 msi文件管理员环境变量测试阅读全文

posted @ 2018-09-27 17:01 star521 阅读(118) 评论(0) 推荐(0) 编辑

公告