信方 - 博客园

2019年4月28日

摘要：分区表 set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;create table test.test28_partition(id string, name string)PAR 阅读全文

posted @ 2019-04-28 15:20 信方阅读(2071) 评论(0) 推荐(0) 编辑

hadoop记录-hadoop集群日常运维命令

摘要： hadoop集群日常运维命令 #1.namenode hadoop namenode -format #格式化，慎用 su hdfs hadoop-daemon.sh start namenode hadoop-daemon.sh stop namenode #2.journalnode hadoo 阅读全文

posted @ 2019-04-28 11:29 信方阅读(617) 评论(0) 推荐(0) 编辑

hadoop记录-浅析Hadoop中的DistCp和FastCopy（转载）

摘要： DistCp（Distributed Copy）是用于大规模集群内部或者集群之间的高性能拷贝工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 DistCp是Apache Hadoop自带的阅读全文

posted @ 2019-04-28 10:32 信方阅读(1409) 评论(0) 推荐(0) 编辑

2019年4月26日

Hadoop记录-queue使用率

摘要： #curl http://xxx:50070/jmx?qry=Hadoop:service=NameNode,name=RpcActivityForPort8020 #curl http://xxx:8088/jmx?qry=Hadoop:service=ResourceManager,name=Q 阅读全文

posted @ 2019-04-26 14:07 信方阅读(705) 评论(0) 推荐(0) 编辑

2019年4月25日

Hadoop记录-切换NN

摘要：一、第一种方法重启namenode（1.1.1.1 1.1.1.2）重启standby节点：1.1hadoop-daemon.sh stop zkfchadoop-daemon.sh stop namenodehadoop-daemon.sh start namenodehadoop dfsadm 阅读全文

posted @ 2019-04-25 13:51 信方阅读(873) 评论(0) 推荐(0) 编辑

2019年4月23日

Hadoop记录-退役

摘要：一、datanode添加新节点 1.在dfs.include文件中包含新节点名称，该文件在名称节点的本地目录下 [白名单] [/app/hadoop/etc/hadoop/dfs.include] 2.在hdfs-site.xml文件中添加属性 <property> <name>dfs.hosts< 阅读全文

posted @ 2019-04-23 10:46 信方阅读(524) 评论(0) 推荐(0) 编辑

2019年4月22日

Hadoop记录-queue mysql

摘要： #!/bin/sh ip=xxx port=8088 export HADOOP_HOME=xxx rmstate1=$($HADOOP_HOME/yarn rmadmin -getServiceState rm1) rmstate2=$($HADOOP_HOME/yarn rmadmin -get 阅读全文

posted @ 2019-04-22 11:13 信方阅读(307) 评论(0) 推荐(0) 编辑

2019年4月20日

Linux记录-grafana opentsdb安装

摘要： wget https://dl.grafana.com/oss/release/grafana-6.1.4-1.x86_64.rpm sudo yum localinstall grafana-6.1.4-1.x86_64.rpm init.d脚本/etc/init.d/grafana-server 阅读全文

posted @ 2019-04-20 20:33 信方阅读(412) 评论(0) 推荐(0) 编辑

Hadoop记录-JMX参数

摘要： Yarn metrics参数说明获取Yarn jmx信息：curl -i http://xxx:8088/jmx Hadoop:service=ResourceManager,name=FSOpDurationsHadoop:service=ResourceManager,name=JvmMetr 阅读全文

posted @ 2019-04-20 14:53 信方阅读(3336) 评论(0) 推荐(0) 编辑

Linux记录-open-falcon开源监控系统部署

摘要：参考https://book.open-falcon.org/zh_0_2/quick_install/prepare.html一、安装后端1.环境准备yum -y install redisyum install golang -y ##需要epel源配置环境变量（/etc/profile）exp 阅读全文

posted @ 2019-04-20 13:05 信方阅读(601) 评论(0) 推荐(0) 编辑

信方互联网硬汉

行走互联，硬汉信方

公告