摘要：
主要从系统配置、前端、中间件、后端、数据库、监控 来说明。 https://juejin.cn/post/7044032901662375949 阅读全文
摘要：
1、双重key聚合解决数据倾斜：个别key数据量过大，导致数据倾斜。在key前加随机前缀，先进行一次预聚合，然后再将随机前缀去掉，再进行一次聚合。 // 注册自定义函数 spark.udf().register("concat_String_string", new ConcatStringStri 阅读全文
摘要：
1、join SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON pv.userid = u.userid; 实现过程： Map： 1、以 JOIN ON 条件中的列作为 Key，如果有多个列，则 Key 是这些列的组合。（key=on条 阅读全文
摘要：
1、row_number： 分组排序+序号标记 假如我们有这样一组数据，我们需要求出不同性别的年龄top2的人的信息。这个时候怎么做？可能我们会首先想到分组，但是分组只能值top1，怎么样能求出top2，top3呢？这时候我们想如果分组后能够按照年龄排序然后标出来序号就好了！ id age name 阅读全文
摘要：
1、前置知识： （1）sc.defaultMinPartitions sc.defaultMinPartitions=min(sc.defaultParallelism,2) 也就是sc.defaultMinPartitions只有两个值1和2，当sc.defaultParallelism>1时值为 阅读全文
摘要：
1、任务中如何确定spark RDD分区数、task数目、core个数、worker节点个数、excutor数量 （1）hdfs 上的文件的存储形式是以 Block 的形式存储的，每个 File 文件都包含了很多块，一个Block默认是128M大小。当 spark 从 hdfs 上读取数据的时候，会 阅读全文
摘要：
1、java反射机制：Java的反射（reflection）机制是指在程序的运行状态中，可以构造任意一个类的对象，可以了解任意一个对象所属的类，可以了解任意一个类的成员变量和方法，可以调用任意一个对象的属性和方法。这种动态获取程序信息以及动态调用对象的功能称为Java语言的反射机制。反射被视为动态语 阅读全文
摘要：
1、为什么要做消息幂等：消息会有重复 今天正式服务器上2台服务器收到同一个消息，因为是集群模式不可能两台服务器都收到同一个消息，后来排查发现是由于网络各种原因确认消息没及时到达到rocketmq，所以会重发。 当系统的调用链路比较长的时候，比如系统A调用系统B，系统B再把消息发送到RocketMQ中 阅读全文
摘要：
1、题目描述 对所有员工的当前(to_date='9999-01-01')薪水按照salary进行按照1-N的排名，相同salary并列且按照emp_no升序排列CREATE TABLE `salaries` (`emp_no` int(11) NOT NULL,`salary` int(11) N 阅读全文
摘要：
1、Watcher 机制： Zookeeper 允许客户端向服务端的某个 Znode 注册一个 Watcher 监听，当服务端的一些指定事件触发了这个 Watcher，服务端会向指定客户端发送一个事件通知来实现分布式的通知功能，然后客户端根据 Watcher 通知状态和事件类型做出业务上的改变。 工 阅读全文