摘要：
一、Scala入门 1.1 概述 1.1.1 为什么学习Scala 主要基于以下几个原因： 1) 大数据主要的批处理计算引擎框架Spark是基于Scala语言开发的 2) 大数据主要的流式计算引擎框架Flink也提供了Scala相应的API 3) 大数据领域中函数式编程的开发效率更高，更直观，更容易 阅读全文
摘要：
一、Sqoop安装 1、下载并解压 1）下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2）上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到hadoop102的/opt/software路径中 3 阅读全文
摘要：
一、电商业务简介 1、电商业务流程 2、电商业务表结构 2.1 订单表（order_info） 标签 含义 id 订单编号 consignee 收货人 consignee_tel 收件人电话 final_total_amount 总金额 order_status 订单状态 user_id 用户id 阅读全文
摘要：
一、数据仓库概念 数据仓库（Data Warehouse） 是为企业所有决策制定过程，提供所有系统数据支持的战略集合。 二、项目需求及架构设计 2.1 项目需求分析 1、项目需求 1）用户行为数据采集平台搭建 2）业务数据采集平台搭建 3）数据仓库维度建模 4）分析：用户、流量、会员、商品、销售、地 阅读全文
摘要：
一、安装部署 1、安装前准备 1）下载地址:http://azkaban.github.io/downloads.html 2）将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到hadoop102机器的/opt/software目录下 a 阅读全文
摘要：
一、安装部署 1、Zookeeper正常部署 （见前篇博文大数据软件安装之ZooKeeper监控 ） [test@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start [test@hadoop103 zookeeper-3.4.10]$ bin/zkS 阅读全文
摘要：
一、安装部署kafka 1、集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 2、jar包下载 http://kafka.apache.org/downloads.html 3、集群部署 1）解压安装包 [test@hadoo 阅读全文
摘要：
一、安装地址 1） Flume官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 二、安装部署 阅读全文
摘要：
一、安装及配置 官方文档： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 安装Hive2.3 1）上传apache-hive-2.3.0-bin.tar.gz 到/opt/software目录下，并解压到/opt/mo 阅读全文
摘要：
一、ZooKeeper安装 官方文档： https://zookeeper.apache.org/doc/r3.5.5/zookeeperStarted.html 1、解压分发 [test@hadoop102 opt]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /o 阅读全文