摘要： 1 、为什么要分层 我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因： 清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用 阅读全文

摘要： maven的resource配置 目录结构 构建Maven项目的时候，如果没有进行特殊的配置，Maven会按照标准的目录结构查找和处理各种类型文件。 src/main/java和src/test/java 这两个目录中的所有*.java文件会分别在comile和test-comiple阶段被编译，编 阅读全文

摘要： 非比较排序 一、什么是非比较排序 区别传统的比较算法，不通过其中两个数的大小直接比较，来排序整个数列 二、具体实现 1、计数排序 很好理解，就是对应每个数我们统计每个数字出现的次数，然后用一个直接定址的哈希表来存放数据，在通过遍历这个哈希表，进而就可以排好序了 （1）代码实现 1 void Coun 阅读全文

摘要： 经典排序算法 0、算法概述 0.1 算法分类 十种常见排序算法可以分为两大类： 比较类排序：通过比较来决定元素间的相对次序，由于其时间复杂度不能突破O(nlogn)，因此也称为非线性时间比较类排序。 非比较类排序：不通过比较来决定元素间的相对次序，它可以突破基于比较排序的时间下界，以线性时间运行，因 阅读全文

摘要： RandomAccess接口 如果我们用Java做开发的话，最常用的容器之一就是List集合了，而List集合中用的较多的就是ArrayList 和 LinkedList 两个类，这两者也常被用来做比较。因为最近在学习Java的集合类源码，对于这两个类自然是不能放过，于是乎，翻看他们的源码，我发现， 阅读全文

摘要： mac 命令行查看端口 方法一： ## 查看80口是否被占用 sudo lsof -i :80 方法二： netstat -anp tcp | grep 80 阅读全文

摘要： mybatis 避免 where 1=1 mybatis动态拼接条件的两种方式： where 1=1 where标签 where标签方式： <select id="findActiveBlogLike" resultType="Blog"> SELECT * FROM BLOG <where> <i 阅读全文

摘要： 解决 "-bash: rz: command not found" 在linux 系统中，使用rz(或 sz) 命令是，提示 -bash: rz(或者是sz): command not found 。 这个时候，说明没有安装 lrzsz ，这时，输入命令 yum -y install lrzsz 阅读全文

摘要： 概述 Spark 输出数据到 HDFS 时，需要解决如下问题： 由于多个 Task 同时写数据到 HDFS，如何保证要么所有 Task 写的所有文件要么同时对外可见，要么同时对外不可见，即保证数据一致性 同一 Task 可能因为 Speculation 而存在两个完全相同的 Task 实例写相同的数 阅读全文

摘要： Spark解决数据倾斜（Data Skew） 摘要 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。 为何要处理数据倾斜（Data Sk 阅读全文