2021年8月18日
时间字符串2021-02-25T15:32:54+08:00 转化为yyyy-MM-dd HH:mm:ss时间格式
摘要： public static String dealDateFormat(String oldDate) { Date date1 = null; DateFormat df2 = null; try { DateFormat df = new SimpleDateFormat("yyyy-MM-dd 阅读全文
posted @ 2021-08-18 15:53 海飏凨 阅读(803) 评论(0) 推荐(0) 编辑
集合中根据时间来排序
摘要： Collections.sort(list<T>, Comparator.comparing(T::getTime, (t1, t2) -> t2.compareTo(t1))); 阅读全文
posted @ 2021-08-18 15:46 海飏凨 阅读(23) 评论(0) 推荐(0) 编辑
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException
摘要： 因为spark默认的元数据存储在derby，derby是单session的，启动多个会报错，杀掉多余进程解决。 阅读全文
posted @ 2021-08-18 15:43 海飏凨 阅读(2458) 评论(0) 推荐(2) 编辑
HDFS常问面试题
摘要： 1.读写流程 2.默认块大小 集群模式：128m 本地模式：32m hadoop1.x：64m 业务开发：128m 256m hive的文件块：256m 3.小文件 namenode 内存128g 一个文件块占用namenode 150字节 128*1024*1024*1024字节/150字节=9亿 阅读全文
posted @ 2021-08-18 15:32 海飏凨 阅读(116) 评论(0) 推荐(0) 编辑
启动消费Flume抛java.lang.OutOfMemoryError异常
摘要： ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded。 flume配置的内存不足，报了了OOM。 解决方法：在/flume/conf/flume-env.sh文件 阅读全文
posted @ 2021-08-18 15:32 海飏凨 阅读(227) 评论(0) 推荐(0) 编辑
HDFS产生小文件解决
摘要： 使用flume将数据写到HDFS上，出现大量的不到1kb的小文件。 危害：占用NameNode内存 n*150字节 （采用har归档：hadoop archive -archiveName **.har -p /输入路径 /输出路径） 增加切片个数 n个maptask 产生原因： hdfs.roll 阅读全文
posted @ 2021-08-18 15:32 海飏凨 阅读(376) 评论(0) 推荐(0) 编辑