2019年4月28日
hadoop记录-Hadoop参数汇总
摘要： Hadoop参数汇总 linux参数 以下参数最好优化一下： JVM参数 Hadoop参数大全 要配置文件： core hdfs yarn mapred 重要性表示如下： 重要 一般 不重要 core-default.xml hadoop.common.configuration.version 配 阅读全文
posted @ 2019-04-28 17:51 信方 阅读(1122) 评论(0) 推荐(0) 编辑
hadoop记录-hive常见设置
摘要： 分区表 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;create table test.test28_partition(id string, name string)PAR 阅读全文
posted @ 2019-04-28 15:20 信方 阅读(2072) 评论(0) 推荐(0) 编辑
hadoop记录-hadoop集群日常运维命令
摘要： hadoop集群日常运维命令 #1.namenode hadoop namenode -format #格式化，慎用 su hdfs hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode #2.journalnode hadoo 阅读全文
posted @ 2019-04-28 11:29 信方 阅读(617) 评论(0) 推荐(0) 编辑
hadoop记录-浅析Hadoop中的DistCp和FastCopy（转载）
摘要： DistCp（Distributed Copy）是用于大规模集群内部或者集群之间的高性能拷贝工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 DistCp是Apache Hadoop自带的 阅读全文
posted @ 2019-04-28 10:32 信方 阅读(1410) 评论(0) 推荐(0) 编辑