摘要: docker官网site:http://www.docker.com/ 参照site:https://docs.docker.com/windows/step_three/ docker安装参照: http://www.cnblogs.com/yinchengzhe/p/5179803.html 我 阅读全文
posted @ 2016-02-04 15:52 一寸相思万千劫 阅读(1185) 评论(0) 推荐(0) 编辑
摘要: Docker官网地址: http://www.docker.com/ 本文参照site: https://docs.docker.com/windows/ Docker 项目的目标是实现轻量级的操作系统虚拟化解决方案。 Docker 的基础是 Linux 容器(LXC)等技术,所以不能我们 不能直接 阅读全文
posted @ 2016-02-03 15:28 一寸相思万千劫 阅读(695) 评论(0) 推荐(0) 编辑
摘要: 在HDFS HA(http://www.cnblogs.com/yinchengzhe/p/5140117.html)基础上进行yarn的安装。1、配置yarn-site.xml 参数详情参考http://www.cnblogs.com/yinchengzhe/p/5142659.html 配置... 阅读全文
posted @ 2016-01-19 17:16 一寸相思万千劫 阅读(664) 评论(0) 推荐(0) 编辑
摘要: 参照site:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml我们在配置yarn的时候只有充分了解各参数的含义,才能避免隐患。这些参数均在yarn-site.xml中配置 以下涉... 阅读全文
posted @ 2016-01-19 16:46 一寸相思万千劫 阅读(24551) 评论(1) 推荐(3) 编辑
摘要: 查考site:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-site/YARN.htmlyarn结构图如下:1、yarn 下一代的MapReduce系统框架,也称为MRv2(MapReduce version 2), 它是... 阅读全文
posted @ 2016-01-19 10:43 一寸相思万千劫 阅读(1066) 评论(0) 推荐(0) 编辑
摘要: 一、所需软件 1. JDK版本 下载地址:http://www.oracle.com/technetwork/java/javase/index.html 版本:jdk-7u79-linux-x64.gz 2. Hadoop软件 下载地址:http://hadoop.apach... 阅读全文
posted @ 2016-01-18 18:10 一寸相思万千劫 阅读(790) 评论(0) 推荐(0) 编辑
摘要: 一、用户账号管理 1. 添加新用户账号 命令格式:useradd 选项 用户名 选项含义如下: -c comment 指定一段注释性描述。 -d 目录 指定用户主目录,如果此目录不存在,则同时使用-m选项,可以创建主目录。 -g 用户组 指定用户所属的用户组。 ... 阅读全文
posted @ 2016-01-18 11:27 一寸相思万千劫 阅读(252) 评论(0) 推荐(0) 编辑
摘要: 有时候我们在Linux下执行sudo的时候,出现xxx is not int the sudoers file告诉我们当前用户不是sudoer,所以我们要把当前用户添加进去,步骤如下:1、进入超级用户模式,也就是 'su -' 命令,输入超级用户密码。(也就是root用户)2、编辑sudoers文件... 阅读全文
posted @ 2016-01-18 10:34 一寸相思万千劫 阅读(480) 评论(0) 推荐(0) 编辑
摘要: 最近在学习研究kafka,当我们进行debug跟踪时,就需要研究源码了。kafka的源码是Scala语言,在此就需要Scala环境来运行kafka源码了。接下来记录的是我在IDEA中安装Scala插件。步骤如下:1、IDEA下载地址 http://www.jetbrains.com/idea/2、... 阅读全文
posted @ 2016-01-15 11:16 一寸相思万千劫 阅读(643) 评论(0) 推荐(0) 编辑
摘要: 开始创建项目,这里所用的工程结构是maven。 在pox.xml中添加kafka的依赖包,如下所示: org.apache.kafka kafka_2.9.1 0.8.2.2 依赖配置参照http://mvnrepository.com/search?q=kafka中对应的... 阅读全文
posted @ 2016-01-14 13:51 一寸相思万千劫 阅读(710) 评论(0) 推荐(0) 编辑