随笔分类 - 阿里云离线数仓
因为内存不足，选择在阿里云上购买服务器，开搞！
摘要：1.简介：基于当今的购物狂潮，针对不同用户，进行相关数据统计。 2.主要技术：Flume，DataHub，MaxCompute，DataWorks，RDS，QuickBi 3.实现功能： 通过Flume运行日志程序，将采集到的用户行为数据推送到Data Hub中，使用DataHub Connecto
阅读全文
摘要：1. 创建用户 成功创建 设置基本信息 创建accesskey 添加权限 2. 用创建的用户登录 登录主账号对新成员管理 添加成员 访问maxcompute成功
阅读全文
摘要：1. 配置数据源 2. 配置渠道日活数据集 1. 新建数据集 2. 维度转换 3. 刷新预览（将数据导入quickbi） 3. 配置渠道日活仪表板 创建饼状仪表板及显示 4. 配置地区销售额数据集 5. 配置地区销售额仪表板 6. 配置年龄段数据集 1.新建计算字段 7. 配置年龄段仪表板 8. 配
阅读全文
摘要：1. 创建数据库 2. 创建4张表 用户行为1张表，业务数仓3张表 CREATE TABLE `uv_source_d` ( `source` varchar(20) NOT NULL COMMENT '渠道', `ct` bigint(20) DEFAULT NULL COMMENT '个数',
阅读全文
摘要：1. 需求 对用户各个年龄段统计、地区销售统计、热门商品排行 2. 建表语句 DROP table ads_trade_age_d; CREATE TABLE `ads_trade_age_d` ( `age` double COMMENT '年龄', `sku_num` double COMMEN
阅读全文
摘要：1. 手动导入表 1. 对ODS层数据加工 如： ODS地区+ODS省份=>DWD省份地区 ODS 商品信息 + ODS 品牌 + ODS 商品一级分类 + ODS 商品二级分类 + ODS 商品三级分类=>DWD商品信息 2. DWD层表结构 3. 创建表 CREATE TABLE `dwd_or
阅读全文
摘要：业务表结构 1. RDS操作 1. 购买RDS 2. 购买成功界面 3. 设置白名单 4. 设置外网地址 5. 创建账号 2. Navicat连接 1. 连接表 2. 新建数据库 3. 导入SQL表 4. 生成数据 3. ODS层数据表创建 1. 在maxcompute中创建11张表 CREATE
阅读全文
摘要：一、表的分类 1.实体表：一个现实存在的业务对象（用户表） 2.维度表：对应一些业务状态（订单状态） 3.事务型事实表：一旦发生不会再变化（交易流水） 4.周期性事实表：随着业务发生不断产生的数据（订单） 二、同步策略 1.数据同步类型：全量表、增量表、新增及变化表 全量表：存储完整的数据 增量表：
阅读全文
摘要：整体架构 技术框架 1. 配置表主题 2. 配置表层级 3. 数据仓库分层 1. 原始数据层ODS层搭建 表的位置 使用DataHub Connector将DataHub中的数据推送到MaxCompute中 创建DataConnector 数据成功加载 2. DWD层搭建 日志格式分析 自定义UDT
阅读全文
摘要：1. JDK安装（见文档） 2. 日志生产（见文档） 在文档中显示 // 启动Flume进程，输出端设置为控制台 /opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/co
阅读全文
摘要：1. 配置SSH无密登录 配置原理 配置SSH 2. 集群整体操作脚本(补充) #! /bin/bash for i in hadoop102 hadoop103 hadoop104 do echo i "source /etc/profile ; $*" done
阅读全文
摘要：1. 购买服务器 2. 配置防火墙 3. ECS配置升级（补充的，暂时没有用到） 4. 阿里云服务器连接 5. 配置主机名称映射 6. 创建普通用户atguigu并提升权限 7. 集群分发脚本xsync #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if
阅读全文
