批处理（Batch或离线计算）和流计算（Streaming或实时计算）
大数据处理流程
- 课程：https://developer.aliyun.com/learning/course/432/detail/5385
- 流程
-
- 发
批处理（Batch或离线计算）
- 基础：google的三大论文——论文GFS、MapReduce、BigTable（kv存储）
- 基于上述论文，开发了产品Hadoop：包含存储(HDFS)+计算(MapReduce）两部分
- 基于mapreduce上面长出了HIVE（就是SQL，降低开发门槛）
- 后面2.0阶段 Spark：解决了磁盘的shuffle性能问题，成为业界批处理的主流；但阿里内部一直是ODPS（基于mapreduce）上去做
- HDFS架构
- https://www.w3cschool.cn/hadoop/xvmi1hd6.html
- HDFS：Hadoop Distributed File System，分布式文件系统
- MapReduce计算
- https://www.yiibai.com/hadoop/intro-mapreduce.html
- 介绍：一种分布式的计算方式指定一个Map（映#x5C04;）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组
- 输入：
Welcome to Hadoop Class
Hadoop is good
Hadoop is bad
- 步骤：
-
输入拆分：input splits
输入到MapReduce工作被划分成固定大小的块叫做 input splits ，输入折分是由单个映射消费输入块。（对于大多数作业，最好是分割成大小等于一个HDFS块的大小(这是64 MB，默认情况下)。
映射 - Mapping
这是在 map-reduce 程序执行的第一个阶段。在这个阶段中的每个分割的数据被传递给映射函数来产生输出值。在我们的例子中，映射阶段的任务是计算输入分割出现每个单词的数量(更多详细信息有关输入分割在下面给出)并编制以某一形式列表<单词，出现频率>
重排 - Shuffling
这个阶段消耗映射阶段的输出。它的任务是合并映射阶段输出的相关记录。在我们的例子，同样的词汇以及它们各自出现频率。
Reducing
在这一阶段，从重排阶段输出值汇总。这个阶段结合来自重排阶段值，并返回一个输出值。总之，这一阶段汇总了完整的数据集。
在我们的例子中，这个阶段汇总来自重排阶段的值，计算每个单词出现次数的总和。
流计算（Streaming或实时计算）
| 批处理Batch | 流处理Streaming | |
| 数据 | 有界数据集（已经落盘的） | 无界数据集（源源不断进来的） |
| 有序数据集（因为已经落盘，可以order by排序等） | 无序数据集（可能后发生的先到） | |
| 运行 | 定时调度 | 启动一次 |
| 数据处理完任务结束 | 任务一直运行 | |
| 时效 | 小时/天 | 秒级/毫秒级 |
| 例子 |
Hadoop的mapreduce spark |
Flink |
流计算SQL样例1
例：
某网站需要对访问来源进行分析:
从日志服务读取该站点访问日志，解析日志中的来源并检查来源是否在感兴趣的网站列表中(类似来源网站的白名单，保存在OTS中)，统计来自各个网站的流量PV，最终结果写出到 RDS
流计算SQL样例2
热词统计分析实际上就是一个简单的Word Count任务，而流式实时热词统计分析将Word Count处理逻辑整体转换为流式实时处理，可以做到实时对热词进行统计分析，并可以实时展现。
需要创建源表、创建结果表、计算逻辑。
调试数据：3行aiyun，1行alibaba
会把整个运算过程都打印出来，下游做存储的时候，会进行去重，存储的就是aliyun 3, alibaba 1
流计算SQL样例3
要求：按天聚合当天的交易笔数，交易金额
调试数据：
最佳实践
