摘要：
背景 近年来大数据BigData、人工智能AI、物联网Iot等行业发展迅猛，很多人都想要从事大数据技术开发工作，但是，请问要怎么做，路线是什么？从哪里开始学？学哪些？这是一个大问题。对于我自己来说，最近也在学一些大数据开发相关的技术，所以之前整理了一份《大数据技术学习路线》，希望对你有所帮助。 学习 阅读全文
摘要：
一.Navicat Premium中的数据迁移工具 为了生产库释放部分资源，需要将API模块迁移到mysql中，及需要导数据。 尝试了oracle to mysql工具，迁移时报错不说，这么大的数据量，用这种简陋的工具不大可靠。 意外发现平时用的数据库视图工具Navicat Premium中有数据迁 阅读全文
摘要：
java排序从大的分类来看，可以分为内排序和外排序：其中，在排序过程中只使用了内存的排序称为内排序；内存和外存结合使用的排序成为外排序。 下面讲的都是内排序。 内排序在细分可以这样分： 1、选择排序：直接选择排序，堆排序 2、交换排序：冒泡排序，快速排序 3、插入排序：直接插入排序，二分插入排序，希 阅读全文
摘要：
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的 阅读全文
摘要：
在16年8月份至今，一直在努力学习大数据大数据相关的技术，很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多，会让很多新手望而却步。所以，我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑，希望得到老司机的指点和新手的借鉴。 目前正在学习分布式理论和ZooKeeper 阅读全文