摘要：
1. 最经典的方法通过打印语句来调试程序 System.err.println("Bad Data"+value.toString()); 这些输出错误都会记录到一个标准错误中，可以通过WebUI进行查看2.可以创建一个自定义计数器来统计整个数据集中不合理的数据的数量。 首先创建一个enum enum BAD_DATA{ BAD_DATA_1, BAD_DATA_2 }if(strs[1].split(",")!=null&&strs[1].split(",").length>11){ frontValues.a 阅读全文
摘要：
package com.sun.mysql;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.util.Iterator;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import o 阅读全文
摘要：
Hadoop 分布式缓存实现目的是在所有的MapReduce调用一个统一的配置文件，首先将缓存文件放置在HDFS中，然后程序在执行的过程中会可以通过设定将文件下载到本地具体设定如下：public static void main(String[] arge) throws IOException, ClassNotFoundException, InterruptedException{ Configuration conf=new Configuration(); conf.set("fs.default.name", "hdfs://192.168.1.45: 阅读全文