LZ名約山炮

摘要： 第1章 资源配置调优 Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定。 标准的Fl 阅读全文

摘要： 十二、Hbase 12.1 基本架构 12.2 读写流程 写流程： 1）Client先访问Zookeeper，获取hbase:meta表位于哪个RegionServer。 2）访问对应的RegionServer，获取hbase:meta表，根据读请求的namespace:table/rowkey，查 阅读全文

摘要： 六、Hive 6.1 基本架构 6.2 与数据库的比较 mysql hive 速度 数据量小、快 数据量大、快 场景 小数据量的增删查改 大数据量的查询分析 6.3 内部表、外部表 删除内部表：删元数据、原始数据 删除外部表：删元数据 企业怎么用？ 主要用外部表，临时表和测试表用内部表 6.4 4个 阅读全文

摘要： 第1章 数据仓库概念 数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 数据仓库是出于分析报告和决策支持目的而创建的，为需要业务智能的企业，提供指导业务流程改进、监控时间、成本、质量以及控制。 第2章 项目需求及架构设计 2.1 项目需求分析 一、数据采集平台搭建 二、实现数 阅读全文

摘要： 一、参考地址 1）官网参考：https://cwiki.apache.org/confluence/display/Hive/OuterJoinBehavior 2）cbo参考：https://cwiki.apache.org/confluence/display/Hive/Cost-based+o 阅读全文

摘要： 第1章 项目需求及架构 1.1 项目需求分析 一、数据采集平台搭建 二、Kafka中间件准备 三、下游Spark Streaming对接Kafka接收数据，实现vip个数统计、页面之间的跳转率、做题正确率与掌握度、播放时长统计及历史区间统计的实时计算功能。 1.2 项目框架 1.2.1 技术选型 一 阅读全文

摘要： 第 1 题 连续问题 如下数据为蚂蚁森林中用户领取的减少碳排放量 id dt lowcarbon 1001 2021-12-12 123 1002 2021-12-12 45 1001 2021-12-13 43 1001 2021-12-13 45 1001 2021-12-13 23 1002 阅读全文

摘要： 第 1 章 HQL 是如何转换为 MR 任务的 1.1 Hive 的核心组成介绍 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive） 2）元数据：Metastore 元数据包括：表名、 阅读全文

摘要： 一、Linux & Shell 1.1 常用命令 top、ps -ef 、netstat、df -h 、tail、cat 1.2 查看端口号：netstat -nlpt / ss 查看进程：ps -ef 查看磁盘：df -h / du 查看内存：top \ free -h 查看cpu：top \ 查 阅读全文

摘要： 第1章 项目需求及架构 1.1 项目需求概览 一、数据采集平台搭建 二、Kafka中间件准备 三、下游Spark Streaming对接Kafka接收数据，实现vip个数统计、页面之间的跳转率、做题正确率与掌握度、播放时长统计及历史区间统计的实时计算功能。 1.2 项目框架设计 1.2.1 技术选型 阅读全文