12 2019 档案
摘要：历时一个星期的讨论与开发，终于得出了一个合并小文件的雏形。 作为一个开发新生代，实属不易，发布出来与大家共勉。 思路： 这个思路是我与一个大佬一起完成的。接到合并小文件的任务以后，我们开始再网上各种找资料，跟朋友沟通学习。其中在网上找到了一篇博客写的很好： https://www.cnblogs.c
阅读全文
摘要：历时2天半，完成了从获取数据到清洗数据到最终的展示过程。 需求：hive中有很多表，他们的存储量很大，磁盘吃紧，为了以后能清楚的看到hive库中最大的10张表，所以需要做一个展示。 整理思路： 获取数据的途径：使用hadoop fs -du -s -h 表的绝对路径 为了后期开发简单，所以就把获取的
阅读全文
