登高一呼

2015年7月2日

摘要： n内存溢出(OOM)的原因n在JVM中，有哪些内存区间？线程栈：32位：最大值2Gn堆溢出n永久区 nJava栈溢出 –这里的栈溢出指，在创建线程的时候，需要为线程分配栈空间，这个栈空间是向操作系统请求的，如果操作系统无法给出足够的空间，就会抛出OOMn直接内存溢出 –ByteBuffer.allocateDirect()无法从操作系统获得足够的空间直接内存需要GC... 阅读全文

posted @ 2015-07-02 01:28 登高一呼阅读(1315) 评论(0) 推荐(0) 编辑

HDFS详细分析一

摘要： 1.Hadoop启动中遇到的问题以及解决办法：（1）搭建HDFS集群的时候，NameNode和DataNode这两个进程会挂掉？查看logs，查看相关的异常信息a.如果是namenode没有正常启动，原因在启动之前没有格式化，我们需要formatb.如果data没有启动，原因是namespaceID... 阅读全文

posted @ 2015-07-02 01:27 登高一呼阅读(347) 评论(0) 推荐(0) 编辑

Flume原理、安装和使用

摘要： 1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类... 阅读全文

posted @ 2015-07-02 01:09 登高一呼阅读(2838) 评论(0) 推荐(1) 编辑

HDFS详细分析二

摘要： 1）HDFS读过程DistributedFileSystem -> FSDataInputStream -> DFSClient.open(RPC通信机制) -> NN.openHDFS写过程DIstributedFileSystem -> FSDataOutputStream -> DFSClie... 阅读全文

posted @ 2015-07-02 01:09 登高一呼阅读(135) 评论(0) 推荐(0) 编辑

2015年6月25日

VS2015 错误 C4996 'fopen': This function or variable may be unsafe.

摘要：使用vs2015，遇到如下错误。严重性代码说明项目文件行错误 C4996 'fopen': This function or variable may be unsafe. Consider using fopen_s instead. To disable deprecation, us... 阅读全文

posted @ 2015-06-25 00:50 登高一呼阅读(11483) 评论(0) 推荐(2) 编辑

2015年6月2日

Python出现SyntaxError: Non-ASCII character '\xe7' in file 错误的解决办法

摘要：发现是因为Python在默认状态下不支持源文件中的编码所致。解决方案有如下三种：一、在文件头部添加如下注释码：# coding= 例如，可添加# coding=utf-8二、在文件头部添加如下两行注释码：#!/usr/bin/python# -*- coding: -*- 例如，可添加# -*- ... 阅读全文

posted @ 2015-06-02 17:38 登高一呼阅读(2171) 评论(0) 推荐(0) 编辑

2015年6月1日

Hadoop安全模式

摘要：转自：http://www.superwu.cn/2013/08/23/548/在hadoop集群的时候,集群的运行会进入到安全模式(safeMode)下。在安全模式下运行一段时间后，自动退出。那么，系统在安全模式下干什么了？当集群启动的时候，会首先进入到安全模式。系统在安全模式下，会检查数据块的完... 阅读全文

posted @ 2015-06-01 16:40 登高一呼阅读(262) 评论(0) 推荐(0) 编辑

2015年5月29日

Hadoop1.x源码分析一：Configuration 详解

摘要： 1.Hadoop配置文件的形式 Hadoop的配置文件是以XML的形式，跟元素是configuration,一般只包含子元素property。每一个property元素就是一个配置项，配置文件不支持分层或分级。每个配置项一般包括配置属性的名称name、值value和一个关于配置项的描述descri... 阅读全文

posted @ 2015-05-29 20:20 登高一呼阅读(151) 评论(0) 推荐(0) 编辑

Hadoop1.x代码求出一百万中最大的100个数

摘要： 1 /*********************************************** 2 这一百万数据只是在个人电脑上模拟，实际数据可能达到一亿。本人没有测试过 3 这一百万数据的文件存储格式如下： 4 4566 5 1321634 6 132132 7 165446... 阅读全文

posted @ 2015-05-29 17:29 登高一呼阅读(531) 评论(0) 推荐(0) 编辑

Hadoop1.x代码求海量数据最大值

摘要： 1 /** 2 * 数据格式文件为： 3 * 4 4 * 7 5 * 5 6 * 即每个数字占一行 7 */ 8 import java.io.IOException; 9 import java.net.URI;10 11 import org.apache.hadoop... 阅读全文

posted @ 2015-05-29 14:53 登高一呼阅读(355) 评论(0) 推荐(0) 编辑

公告