Curedfisher

2020年4月7日

摘要： 15-网站流量日志分析-分析模型 16-网站流量日志分析-分析指标阅读全文

posted @ 2020-04-07 14:56 Curedfisher 阅读(198) 评论(0) 推荐(0) 编辑

摘要： Day 07 1. Azkaban介绍 1.1. 为什么需要Azkaban 一个完整的数据分析系统通常都是由大量任务单元组成 shell脚本程序 java程序 mapreduce程序 hive脚本等各任务单元之间存在时间先后及前后依赖关系, 为了很好地组织起这样的复杂执行计划，需要一个工作流调度阅读全文

posted @ 2020-04-07 14:44 Curedfisher 阅读(424) 评论(0) 推荐(0) 编辑

Sqoop(将关系型数据库的数据导入到HDFS)

摘要： 10-sqoop入门介绍 11-sqoop安装 cd /export/servers/hadoop‐3.1.1/conf/ cp sqoop‐env‐template.sh sqoop‐env.sh vim sqoop‐env.sh export HADOOP_COMMON_HOME/export/ 阅读全文

posted @ 2020-04-07 06:57 Curedfisher 阅读(575) 评论(0) 推荐(0) 编辑

2020年4月6日

Azkaban.Sqoop

摘要： 1-Azkaban介绍 2-Azkaban编译和安装模式 3-Azkaban-solo模式-安装 cd /export/softwares tar ‐zxvf azkaban‐solo‐server‐0.1.0‐SNAPSHOT.tar.gz ‐C ../servers/ cd /export/se 阅读全文

posted @ 2020-04-06 08:46 Curedfisher 阅读(158) 评论(0) 推荐(0) 编辑

2020年4月5日

Flume讲义

摘要： Day 06 Flume 1. Flume 介绍 1.1. 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive 阅读全文

posted @ 2020-04-05 19:25 Curedfisher 阅读(176) 评论(0) 推荐(0) 编辑

Flume2-高可用+拦截器

摘要： 13-flume高可用-failover-模型分析(搭建一个Flume集群,当一个Flume挂掉之后,其他flume迅速补上) 14-flume高可用-failover-配置文件编写 vim agent.conf #agent1 name agent1.channels = c1 agent1.so 阅读全文

posted @ 2020-04-05 16:56 Curedfisher 阅读(192) 评论(0) 推荐(0) 编辑

2020年4月4日

Flume

摘要： 1-flume的概述和运行机制 2-flume案例-网络数据采集-Flume安装 3-flume案例-网络数据采集-Flume的配置 netcat-logger.conf # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c 阅读全文

posted @ 2020-04-04 15:42 Curedfisher 阅读(126) 评论(0) 推荐(0) 编辑

Hive讲义二

摘要： Note05 Hive 1. Hive 表操作 1.1. Hive 表创建语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT 阅读全文

posted @ 2020-04-04 11:17 Curedfisher 阅读(189) 评论(0) 推荐(0) 编辑

Hive2 分组+排序+函数+自定义函数

摘要： 18-Hive的基本操作-分组和多表连接 19-Hive的基本操作-排序 20-Hive的基本操作-内置函数 21-Hive的基本操作-自定义函数 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:/ 阅读全文

posted @ 2020-04-04 11:14 Curedfisher 阅读(718) 评论(0) 推荐(0) 编辑

2020年4月3日

Hive讲义一

摘要： Note05 Hive 1. 什么是数仓 1.1. 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据阅读全文

posted @ 2020-04-03 14:31 Curedfisher 阅读(168) 评论(0) 推荐(0) 编辑

公告