2015年7月31日
flume实例二、监听目录日志上传到HDFS文件系统
摘要： 一、概述 接实例一，实例一中server-aget是把日志上传保存到服务器上面，随着日志越来越大，公司启动了hadoop项目，需要把日志直接上传hdfs中保存,配置文件target_hdfs.conf如下： a2.sources = r2 a2.channels = c2 a2.sinks = k2 #source a2.sources.r2.type = avro a2.sourc... 阅读全文
posted @ 2015-07-31 17:45 nemotan 阅读(722) 评论(0) 推荐(0)
flume实例一、监听目录日志上传到其他服务器
摘要： 一、flume-ng简介 请参考官方文档：http://flume.apache.org/FlumeUserGuide.html 二、实例 需求说明：需要监控一个目录，并自动上传到服务器，且需要在传输过程中进行加密。 整体方案：n个client-agent -->server-agent client-agen... 阅读全文
posted @ 2015-07-31 17:09 nemotan 阅读(2130) 评论(0) 推荐(0)
2015年7月21日
window8.1编译hadoop2 eclipse插件，并远程调试hadoop程序
摘要： 一、编译hadoop2 eclipse插件 1、安装ant 2、准备eclipse插件包，下载地址：http://pan.baidu.com/s/1i3myDvv 或者https://github.com/nemotan/hadoop2x-eclipse-plugin 3、解压插件包，进入... 阅读全文
posted @ 2015-07-21 19:01 nemotan 阅读(161) 评论(0) 推荐(0)
ubutun14.04编译hadoop-2.6.0源码，并生成eclipse项目
摘要： 1.安装jdk 2. 安装需要的库 sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev 3. sudo apt-get install openssh-... 阅读全文
posted @ 2015-07-21 18:38 nemotan 阅读(195) 评论(0) 推荐(0)
2015年7月17日
windows下安装git并创建一个仓库，git常用命令
摘要： 一、windows安装git 1、下载：http://msysgit.github.io/，下载之后直接安装,打开gitbash 2、配置用户名和邮箱： $ git config --global user.name "Your Name" $ git confi... 阅读全文
posted @ 2015-07-17 19:32 nemotan 阅读(458) 评论(0) 推荐(0)
maven3常用命令以及用maven管理自己的项目
摘要： 一、maven常用命令 1、安装配置maven：略 2、创建 创建java项目：mvn archetype:generate -DgroupId=com.demo（包名） -DartifactId=java-app（项目名） 创... 阅读全文
posted @ 2015-07-17 17:30 nemotan 阅读(669) 评论(0) 推荐(0)