摘要： 前言 最近公司的服务器出现了oom的报错，经过一番排查，终于找到了原因。写下这篇博客是为了记录下查找的过程，也是为了帮助那些跟我门遇到的情况相同的人可以更快的寻找到答案。 环境 系统：linux(centos 7) 平台：java 介绍 程序结构介绍 上图为报错程序的结构图，从图中可以看出有一个主的 阅读全文

摘要： 前言 本章主要讲述了如何在mapreduce任务中添加自定义的计数器，从所有任务中聚合信息，并且最终输出到mapreduce web ui中得到统计信息。 准备工作 数据集：ufo-60000条记录，这个数据集有一系列包含下列字段的UFO目击事件记录组成，每条记录的字段都是以tab键分割，请看htt 阅读全文

摘要： ntp同步互联网时间命令 ntpdate 0.cn.pool.ntp.org 2. ubuntu 增加ppa源 add-apt-repository ppa:wiznote-teamadd-apt-repository ppa:webupd8team/java 3.linux向文件中添加数据 ech 阅读全文

摘要： 前言 本章主要内容是讲述hadoop的分布式缓存的使用，通过分布式缓存可以将一些需要共享的数据在各个集群中共享。 准备工作 数据集：ufo-60000条记录，这个数据集有一系列包含下列字段的UFO目击事件记录组成，每条记录的字段都是以tab键分割，请看http://www.cnblogs.com/c 阅读全文

摘要： 前言 本章主要讲述的是对于hadoop生态系统中，MapReduce写的ChainMapper的学习。MapReduce是hadoop集群数据处理的默认框架。而对于数据集中所有的数据必然有一些不友好的数据，我们需要将其丢弃。我们称之为数据的预处理。所以我们需要将预处理模块与数据处理逻辑分开，以便以后 阅读全文

摘要： 前言 这是小的第一次搭建hadoop平台，写下这篇博客有以下几个目的（ps：本博只记录在linux系统下搭建hadoop的步骤，如果需要了解在其他平台上搭建hadoop的步骤，还请移步）： 1.希望大牛可以指出小的在搭建hadoop平台中的错误的打开方式 2.希望可以帮助到那些需要在linux平台上 阅读全文

摘要： 前言 不久前，公司的一台物理机器硬件坏了，导致运行在其上的虚拟机都挂了。很不凑巧的是，我负责的那台虚拟机的系统盘坏了（ps：感觉老天在玩我），导致里面的数据永远的离我而去（ps：当时我的内心是崩溃的）。为了避免再次发生这种事情，就想到了主从备份君。由于之前虚拟机使用的的是postgresql，因此本 阅读全文

摘要： 部署机器 操作系统：centos 7 java版本： java version "1.7.0_80" 问题症状 将一个java web的程序部署到了两台配置相同的服务器上之后（服务器1、服务器2），程序都正常启动，当前端请求注册服务时，会向后台请求图片验证码，然而（服务器1）验证码出现了如图1所示的 阅读全文