摘要：
on 表示在 join 前进行条件筛选，然后再进行join操作
where 表示在 join 操作完了再做数据过滤 阅读全文
摘要：
1、冒泡排序 2、 插入排序 3、堆排序 4、快速排序 5、希尔排序 6、归并排序 7、计数排序 8、桶排序 9、基数排序 10、选择排序 阅读全文
摘要：
面试总结： ##1、HDFS小文件 小文件的产生原因 1） 数据本身的特点：比如我们在 HDFS 上存储大量的图片、短视频、短音频等文件，这些文件本身较小，达不到一个block的大小，而且数量众多。 2） MapReduce产生：例如使用查询一张含有海量数据的表，然后存储在另外一张表中，而这个查询只 阅读全文
摘要：
某公司面试题： 1、阐述数据库的三大范式？ 2、Linux 自带的常用命令举例至少20个？ 3、Spark 有哪些聚合类的算子，我们应该尽量避免什么类型的算子？ 4、Hive 和 HBase 的区别？ 5、你了解设计模式吗？写出你知道的设计模式。 6、常见的GC算法有哪些？ 7、kafka 的数据存 阅读全文
摘要：
前言 ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 ZooKeeper 的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooK 阅读全文
摘要：
低级到高级：ods - dw - ads 有哪些应用 数据整合 数据仓库 BI 报表 实时大屏展示 数据标签 用户画像 - 脸谱 用户客群分析 个性化推荐 反洗钱 金融风控 ... 阅读全文
摘要：
技术选型：一个优秀的大数据生态组件需要满足这些条件。 阅读全文
摘要：
代码如下： scala> sc.parallelize(Array("a_b","c_d","e_f")).foreach(println) a_b c_d e_f scala> sc.parallelize(Array("a_b","c_d","e_f")).map(string=>{string 阅读全文