2020年9月1日
Spark-环境安装
摘要： 01.Spark--安装Spark 01.下载安装包 spark-2.1.0-bin-hadoop2.7.tgz 以下是Spark的官方下载地址： https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hado 阅读全文
posted @ 2020-09-01 16:39 Steve--DZC 阅读(133) 评论(0) 推荐(0) 编辑
01.Kettle的安装-千亿级数仓环境搭建
摘要： Kettle 版权声明：原创作品，谢绝转载！否则将追究法律责任。个人学习工作中的一些笔记和Demo，后期会继续补充和完善.未经本人允许谢绝转载。 作者：Steven(丁振春) 学习六重：重目标，重思路，重方法，重实践，重习惯，重总结。 Kettle 01.Kettle安装包（pdi-ce-8.2.0 阅读全文
posted @ 2020-09-01 16:31 Steve--DZC 阅读(338) 评论(0) 推荐(0) 编辑
千亿级数仓环境搭建
该文被密码保护。 阅读全文
posted @ 2020-09-01 03:25 Steve--DZC 阅读(1) 评论(0) 推荐(0) 编辑
千亿级数仓day01-项目的简介
摘要： 项目具体技术简介 Kettle 缓慢变化维(拉链表):时间维度，脚本生成，时间维度生成之后不会变化，SCD问题我们使用拉链表来解决； Hive kettle：导出数据的工具 Spark SQL：计算引擎 Kylin：计算引擎，进行预计算之后的多维统计分析可以达到亚秒级别。 项目环境介绍 业务数据量 阅读全文
posted @ 2020-09-01 02:45 Steve--DZC 阅读(69) 评论(0) 推荐(0) 编辑
Umeng项目day04
摘要： Umeng项目day04 ###1.reddis引入确保硬件信息一致 收的ngix的Web服务器，用反向代理。做负载均衡。设备id号，要保证发送的机型是一致的。不能今天发送的和第二天发送的是不一致的，这样导致后面的数据没法统计。在这里做的时候需要保证数据是一致的。同时这个手机可以安装多个App.这里 阅读全文
posted @ 2020-09-01 02:36 Steve--DZC 阅读(72) 评论(0) 推荐(0) 编辑
Umengday12-统计指标
摘要： 统计指标 ######版权声明：原创作品，谢绝转载！否则将追究法律责任。个人学习工作中的一些笔记和Demo，后期会继续补充和完善. 作者：Steven(丁振春) ######学习六重：重目标，重思路，重方法，重实践，重习惯，重总结。 1、概述 统计指标主要是统计设备数，因此所谓的用户活跃数也是指设备 阅读全文
posted @ 2020-09-01 02:25 Steve--DZC 阅读(60) 评论(0) 推荐(0) 编辑
Umengday11-azkaban调度
摘要： azkaban调度 ######版权声明：原创作品，谢绝转载！否则将追究法律责任。个人学习工作中的一些笔记和Demo，后期会继续补充和完善. 作者：Steven(丁振春) ######学习六重：重目标，重思路，重方法，重实践，重习惯，重总结。 1、概述 azkaban是一套调度系统，常用大数据作业调 阅读全文
posted @ 2020-09-01 02:23 Steve--DZC 阅读(61) 评论(0) 推荐(0) 编辑
Umengday10-脚本化加载文件与转储
该文被密码保护。 阅读全文
posted @ 2020-09-01 02:15 Steve--DZC 阅读(0) 评论(0) 推荐(0) 编辑
Umengday09-hive自定义UDTF函数叉分函数
摘要： hive自定义UDTF函数叉分函数 ######版权声明：原创作品，谢绝转载！否则将追究法律责任。个人学习工作中的一些笔记和Demo，后期会继续补充和完善. 作者：Steven(丁振春) ######学习六重：重目标，重思路，重方法，重实践，重习惯，重总结。 1、介绍 从聚合体日志中需要拆解出来各子 阅读全文
posted @ 2020-09-01 02:14 Steve--DZC 阅读(83) 评论(0) 推荐(0) 编辑
Umengday08-hive数据仓库建设
摘要： hive数据仓库建设 ######版权声明：原创作品，谢绝转载！否则将追究法律责任。个人学习工作中的一些笔记和Demo，后期会继续补充和完善. 作者：Steven(丁振春) ######学习六重：重目标，重思路，重方法，重实践，重习惯，重总结。 1、设计原生日志表 原生日志表用来存放上报的原始日志， 阅读全文
posted @ 2020-09-01 02:13 Steve--DZC 阅读(106) 评论(0) 推荐(0) 编辑
Umengday07-flume、kafka与hdfs日志流转
摘要： flume、kafka与hdfs日志流转 ######版权声明：原创作品，谢绝转载！否则将追究法律责任。个人学习工作中的一些笔记和Demo，后期会继续补充和完善. 作者：Steven(丁振春) ######学习六重：重目标，重思路，重方法，重实践，重习惯，重总结。 1、启动kafka集群 $>xka 阅读全文
posted @ 2020-09-01 02:12 Steve--DZC 阅读(108) 评论(0) 推荐(0) 编辑
Umengday06-日志滚动与cron调度
该文被密码保护。 阅读全文
posted @ 2020-09-01 02:10 Steve--DZC 阅读(1) 评论(0) 推荐(0) 编辑
UMengday05
该文被密码保护。 阅读全文
posted @ 2020-09-01 02:02 Steve--DZC 阅读(3) 评论(0) 推荐(0) 编辑
Umengday01-nginx模块(环境平台搭建)
摘要： ##项目环境搭建Umengday01 项目01-nginx模块 1、nginx介绍 nginx是一款高性能web服务器和反向代理服务器，在互联网项目中使用非常频繁，尤其其出色的性能以及轻量级进程占用，已经超过了apache的httpd服务器的使用量。内部可以配置零拷贝实现快速文件传输。 2、open 阅读全文
posted @ 2020-09-01 01:25 Steve--DZC 阅读(114) 评论(0) 推荐(0) 编辑
UMengday03
该文被密码保护。 阅读全文
posted @ 2020-09-01 01:14 Steve--DZC 阅读(1) 评论(0) 推荐(0) 编辑