摘要:
![](https://img2022.cnblogs.com/blog/2487693/202205/2487693-20220527101658367-1681610734.png) 阅读全文
摘要:
1. 创建用户 成功创建 设置基本信息 创建accesskey 添加权限 2. 用创建的用户登录 登录主账号对新成员管理 添加成员 访问maxcompute成功 阅读全文
摘要:
1. 配置数据源 2. 配置渠道日活数据集 1. 新建数据集 2. 维度转换 3. 刷新预览(将数据导入quickbi) 3. 配置渠道日活仪表板 创建饼状仪表板及显示 4. 配置地区销售额数据集 5. 配置地区销售额仪表板 6. 配置年龄段数据集 1.新建计算字段 7. 配置年龄段仪表板 8. 配 阅读全文
摘要:
1. 创建数据库 2. 创建4张表 用户行为1张表,业务数仓3张表 CREATE TABLE `uv_source_d` ( `source` varchar(20) NOT NULL COMMENT '渠道', `ct` bigint(20) DEFAULT NULL COMMENT '个数', 阅读全文
摘要:
1. 需求 对用户各个年龄段统计、地区销售统计、热门商品排行 2. 建表语句 DROP table ads_trade_age_d; CREATE TABLE `ads_trade_age_d` ( `age` double COMMENT '年龄', `sku_num` double COMMEN 阅读全文
摘要:
1. 手动导入表 1. 对ODS层数据加工 如: ODS地区+ODS省份=>DWD省份地区 ODS 商品信息 + ODS 品牌 + ODS 商品一级分类 + ODS 商品二级分类 + ODS 商品三级分类=>DWD商品信息 2. DWD层表结构 3. 创建表 CREATE TABLE `dwd_or 阅读全文
摘要:
业务表结构 1. RDS操作 1. 购买RDS 2. 购买成功界面 3. 设置白名单 4. 设置外网地址 5. 创建账号 2. Navicat连接 1. 连接表 2. 新建数据库 3. 导入SQL表 4. 生成数据 3. ODS层数据表创建 1. 在maxcompute中创建11张表 CREATE 阅读全文
摘要:
一、表的分类 1.实体表:一个现实存在的业务对象(用户表) 2.维度表:对应一些业务状态(订单状态) 3.事务型事实表:一旦发生不会再变化(交易流水) 4.周期性事实表:随着业务发生不断产生的数据(订单) 二、同步策略 1.数据同步类型:全量表、增量表、新增及变化表 全量表:存储完整的数据 增量表: 阅读全文
摘要:
整体架构 技术框架 1. 配置表主题 2. 配置表层级 3. 数据仓库分层 1. 原始数据层ODS层搭建 表的位置 使用DataHub Connector将DataHub中的数据推送到MaxCompute中 创建DataConnector 数据成功加载 2. DWD层搭建 日志格式分析 自定义UDT 阅读全文
摘要:
1. JDK安装(见文档) 2. 日志生产(见文档) 在文档中显示 // 启动Flume进程,输出端设置为控制台 /opt/module/flume/bin/flume-ng agent -n a1 -c /opt/module/flume/conf/ -f /opt/module/flume/co 阅读全文