摘要：
Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join） 一、Map Join作用及原理 作用简单来说，在Map阶段进行join，而不是Common Join那样在Reduce阶段按照join列进行分发后在每个Reduce节点上进行 阅读全文
摘要：
一、区别 ①本质上相同，都是把Map端数据分类处理后交由Reduce的过程。 ②数据流有所区别，MR按map, spill, merge, shuffle, sort, reduce等各阶段逐一实现。Spark基于DAG数据流，可实现更复杂数据流操作（根据宽/窄依赖实现） ③实现功能上有所区别，MR 阅读全文
摘要：
搭建宽表作用，就是为了让业务部门的数据分析人员，在日常工作可以直接提取所需指标，快速做出对应专题的数据分析。在实际工作中，数据量及数据源繁多，如果每个数据分析人员都从计算加工到出报告，除了工作效率巨慢也会导致服务器资源紧张。因此建设数据集市层，包含了该宽表层并在非工作时间做自动生成。 本文引用CDN 阅读全文
摘要：
把Flume Source（netcat类型），从终端上不断给Flume Source发送消息，Flume把消息汇集到Sink（avro类型），由Sink把消息推送给Spark Streaming并处理后输出 版本信息：spark2.4.0 Flume 1.7.0 （基于pyspark） 一、Flu 阅读全文
摘要：
数据库小知识学习系列 问题： MySQL InnoDB中，select where xxx=123 for update；该xxx没有索引，是使用表锁还是全部数据加行锁？ 答： InnoDB引擎（默认RR隔离级别）中的行级锁是依赖索引实现的，问题条件xxx为非索引字段，所以使用的是表锁。 如若隔离级 阅读全文