2022 年 7月 29 日随笔档案 - jsqup

2022年7月29日

摘要： ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220729220216076-598810272.png) 阅读全文

posted @ 2022-07-29 22:11 jsqup 阅读(38) 评论(0) 推荐(0) 编辑

摘要： [root@node1 conf]# mv hive-env.sh.template hive-env.sh [root@node1 conf]# vi hive-env.sh export HIVE_CONF_DIR=/opt/app/hive-2.3.8/conf export HADOOP_H 阅读全文

posted @ 2022-07-29 18:35 jsqup 阅读(32) 评论(0) 推荐(0) 编辑

hadoop的企业优化

摘要： 1. Mapreduce 1. 计算机性能 CPU、内存、磁盘、网络 2. IO操作优化 (1)数据倾斜 (2)Map和Reduce数设置不合理 (3)Map运行时间太长，导致reduce等待时间过久 (4)小文件过多 (5)大量的不可分块的超大文件 (6)Spill溢出次数过多 (7)Merge次阅读全文

posted @ 2022-07-29 11:12 jsqup 阅读(15) 评论(0) 推荐(0) 编辑

开启日志聚合

摘要： [root@node1 hadoop]# cat mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apa 阅读全文

posted @ 2022-07-29 09:36 jsqup 阅读(18) 评论(0) 推荐(0) 编辑

mapreduce中的shuffle机制

摘要：分区的默认方式hashpartitioner public int getPartition(K2 key, V2 value, int numReduceTasks) { return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; } 阅读全文

posted @ 2022-07-29 08:32 jsqup 阅读(15) 评论(0) 推荐(0) 编辑

jsqup

公告