大愿、如愿

摘要： Map的结果，会通过partition分发到Reducer上，reducer操作过后会进行输出。输出的文件格式后缀000001就代表1分区。 Mapper处理过后的键值对，是需要送到Reducer那边进行合并，具有相同的key的键值对会送到同一个Reducer上面。哪个key到哪个Reducer的分 阅读全文

摘要： 如果使用windows开发mapreduce程序，是不能进行debug的，会报如下错误，但其实不影响最终运行结果 首先需要设置环境变量，类似JAVA_HOME，HADOOP_HOME，bin目录下面带有winutils.exe和hadoop.dll两个文件就可以 bin目录放入winutils.ex 阅读全文

摘要： json解析的时候，通常顺序会发生改变，如果我们有保持原有顺序的需求的话可以通过如下方式 1、使用fastJson的Feature.OrderedField 2、初始化JSONObject的时候 3、可以使用Google的Gson，使用gson解析的话是怎么传就是什么顺序 阅读全文

摘要： 1、默认情况下生成的文件名是part-r-00000格式，想要自定义生成输出文件名可以使用org.apache.hadoop.mapreduce.lib.output.MultipleOutputs类用来写出 2、MultipleOutputs类需要在Reduce的setup()方法初始化，最好在c 阅读全文

摘要： 一般可能会是包名引起的，还有可能就不小心加上了.class后缀 解决方案如下 可以加上目录或者使用符号 . ，注意要用空格隔开 java -cp d:\sample HelloWorldjava -cp . HelloWorld 阅读全文

摘要： package com.hy.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import... 阅读全文

摘要： core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 阅读全文

摘要： 大型网站软件系统的特点 高可用，大流量（海量 数据） 用户分布广泛，网络情况复杂 安全环境恶劣 需求快速变更、发布频繁 渐进式发展 大型网站架构演化发展历程 1、初始阶段 大型网站都是从小型网站发展而来，网站架构也一样，服务器一台。应用程序、数据库、文件等所有的资源都在一台服务器上。通常服务器操作系 阅读全文

摘要： 2月8号返沪，仅年初四，急匆匆的逃离了家，有抢不到票的无奈，但更是我主动的要逃，尽管不舍父母家人，但又能怎样？ 返沪后自己的状态不好，急躁，悔恨，内心不平静以及对家人那悠长的思念。充斥着很多负面情绪，心中五味成杂，感受不到人生的意义与价值，更加的追逐不到快乐。至于原因呢，自己想了想，有如下几条： 一 阅读全文

摘要： 一、锁的原理 java中每个对象都有一个内置锁。当程序运行到非静态的synchronized同步方法上时，自动获得与正在执行代码类的当前实例（this）有关的锁。获得一个对象的锁也称为获取锁，当程序运行到synchronized同步方法或代码块时该对象的锁才起作用。 一个对象只有一个锁。所以，只能被 阅读全文