摘要：
一、提交MapReduce作业到YARN时报错：org.apache.hadoop.yarn.exceptions.yarnexception: unauthorized request to start container. 解决办法：同步namenode和datanode的时间。二、使用Map... 阅读全文
摘要：
一、非正常关机/退出MySQL时报错：/var/lib/mysql/mysql.sock 1、重启机器：shutdown -h now 2、删除或重命名：rm -r /var/lib/mysql/mysql.sock或mv /var/lib/mysql/mysql.sock /var/lib/my... 阅读全文
摘要：
1、格式化日期yyyy-mm-dd hh:mm:ss显示 1.1、date "+%Y-%m-%d %H:%M:%S" 1.2、date "+%F %T" 1.3、查看文件的时候格式化文件last time为YYYY-MM-DD格式：ls -l --time-style="+%Y-%m-%d" 2、手 阅读全文
摘要：
conf.set("dfs.datanode.socket.write.timeout", "7200000"); //Configuration.deprecation: dfs.socket.timeout is deprecated. Instead, use dfs.client.s... 阅读全文
摘要：
HP DL160 Gen9服务器集群部署文档硬件配置=======================================================Server Memory CPU DISK NetWorkDL160① 32GB 6*1.9GHZ 2*2TB(SATA) ... 阅读全文
摘要：
hadoop-2.6.0为分布式安装伪分布模式集群规划（单节点）----------------------------------------------------------------------------------------------------------------------... 阅读全文
摘要：
flume 多种适配，多样化的数据收集 核心概念 event：一条消息 client：访问者 agent： 重要组件Sources、Channels、Sinks。Interspactor、Selecter kafka 吞吐量大，高并发场景下使用注意：flume的agent配置文件不允... 阅读全文
摘要：
Windows下ANT用到的环境变量主要有2个： ANT_HOME 和 PATH。1.、设置ANT_HOME指向ant的安装目录，如下： ANT_HOME = D:\soft\apache\apache-ant-1.9.42.、设置bin和lib目录到PATH变量中。将%ANT_HOME%\bin... 阅读全文
摘要：
MapReduce作业读取文件Map任务数量由InputSplit决定，InputSplit分片大小默认是HDFS块大小（hadoop1.x=64mb，hadoop2.x是128mb）。例如： MapReduce作业读取HDFS上（hadoop2.x）两个文件，一个是200MB，一个是100MB，... 阅读全文
摘要：
package com.bank.service;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.ap... 阅读全文