摘要:
一、提交MapReduce作业到YARN时报错:org.apache.hadoop.yarn.exceptions.yarnexception: unauthorized request to start container. 解决办法:同步namenode和datanode的时间。二、使用Map... 阅读全文
摘要:
一、非正常关机/退出MySQL时报错:/var/lib/mysql/mysql.sock 1、重启机器:shutdown -h now 2、删除或重命名:rm -r /var/lib/mysql/mysql.sock或mv /var/lib/mysql/mysql.sock /var/lib/my... 阅读全文
摘要:
1、格式化日期yyyy-mm-dd hh:mm:ss显示 1.1、date "+%Y-%m-%d %H:%M:%S" 1.2、date "+%F %T" 1.3、查看文件的时候格式化文件last time为YYYY-MM-DD格式:ls -l --time-style="+%Y-%m-%d" 2、手 阅读全文
摘要:
conf.set("dfs.datanode.socket.write.timeout", "7200000"); //Configuration.deprecation: dfs.socket.timeout is deprecated. Instead, use dfs.client.s... 阅读全文
摘要:
HP DL160 Gen9服务器集群部署文档硬件配置=======================================================Server Memory CPU DISK NetWorkDL160① 32GB 6*1.9GHZ 2*2TB(SATA) ... 阅读全文
摘要:
hadoop-2.6.0为分布式安装伪分布模式集群规划(单节点)----------------------------------------------------------------------------------------------------------------------... 阅读全文
摘要:
flume 多种适配,多样化的数据收集 核心概念 event:一条消息 client:访问者 agent: 重要组件Sources、Channels、Sinks。Interspactor、Selecter kafka 吞吐量大,高并发场景下使用注意:flume的agent配置文件不允... 阅读全文
摘要:
Windows下ANT用到的环境变量主要有2个: ANT_HOME 和 PATH。1.、设置ANT_HOME指向ant的安装目录,如下: ANT_HOME = D:\soft\apache\apache-ant-1.9.42.、设置bin和lib目录到PATH变量中。将%ANT_HOME%\bin... 阅读全文
摘要:
MapReduce作业读取文件Map任务数量由InputSplit决定,InputSplit分片大小默认是HDFS块大小(hadoop1.x=64mb,hadoop2.x是128mb)。例如: MapReduce作业读取HDFS上(hadoop2.x)两个文件,一个是200MB,一个是100MB,... 阅读全文
摘要:
package com.bank.service;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.ap... 阅读全文