BurningMyself - 博客园

2017年6月20日

操作Hadoop集群

摘要：操作Hadoop集群所有必要的配置完成后，将文件分发到所有机器上的HADOOP_CONF_DIR目录。这应该是所有机器上相同的目录。一般来说，建议HDFS和YARN作为单独的用户运行。在大多数安装中，HDFS进程... 阅读全文

posted @ 2017-06-20 21:11 BurningMyself 阅读(75) 评论(0) 推荐(0) 编辑

2017年6月19日

Git 命令操作

摘要：常用 Git 命令清单我每天使用 Git ，但是很多命令记不住。一般来说，日常使用只要记住下图6个命令，就可以了。但是熟练使用，恐怕要记住60～100个命令。下面是我整理的常用 Git 命令清单。几个专用名词的译... 阅读全文

posted @ 2017-06-19 18:50 BurningMyself 阅读(101) 评论(0) 推荐(0) 编辑

vim常用快捷键

摘要： 1、vim ~/.vimrc 进入配置文件如果不知道vimrc文件在哪，可使用 :scriptnames 来查看set nu #行号set tabstop=4 #一个tab为4个空格长度set ai?... 阅读全文

posted @ 2017-06-19 18:49 BurningMyself 阅读(78) 评论(0) 推荐(0) 编辑

2017年6月18日

hadoop 3.0.0 alpha3 安装、配置

摘要： 1. 官网下载 wget http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.... 阅读全文

posted @ 2017-06-18 01:43 BurningMyself 阅读(102) 评论(0) 推荐(0) 编辑

hadoop 3.0.0 alpha3 配置

摘要： 1. 官网下载 wget http://mirror.bit.edu.cn/apache/hadoop/common /hadoop-3.0.0-alpha3/hadoop-3.0.0-alpha3.tar.gz ..注意下载二进制（省时间） 1解压 tar -zxvf hadoop-3.0.0-a 阅读全文

posted @ 2017-06-18 01:41 BurningMyself 阅读(1881) 评论(0) 推荐(0) 编辑

2017年6月17日

集群使用初步

摘要： 5 集群使用初步5.1 HDFS使用1、查看集群状态命令： hdfs dfsadmin –report 可以看出，集群共有3个datanode可用也可打开web控制台查看HDFS集群信息，在浏览器打开h... 阅读全文

posted @ 2017-06-17 14:09 BurningMyself 阅读(154) 评论(0) 推荐(0) 编辑

集群搭建

摘要： 4. 集群搭建4.1 HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有 ... 阅读全文

posted @ 2017-06-17 14:06 BurningMyself 阅读(107) 评论(0) 推荐(0) 编辑

离线数据分析流程介绍

摘要： 3. 离线数据分析流程介绍注：本环节主要感受数据分析系统的宏观概念及处理流程，初步理解hadoop等框架在其中的应用环节，不用过于关注代码细节一个应用广泛的数据分析系统：“web日志数据挖掘” 3.1 需求分... 阅读全文

posted @ 2017-06-17 14:01 BurningMyself 阅读(136) 评论(0) 推荐(0) 编辑

分布式系统概述

摘要： 2 分布式系统概述注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念 2.1 分布式软件系统(Distributed... 阅读全文

posted @ 2017-06-17 13:56 BurningMyself 阅读(132) 评论(0) 推荐(0) 编辑

HADOOP背景介绍

摘要： 1. HADOOP背景介绍1.1 什么是HADOOP1. HADOOP是apache旗下的一套开源软件平台2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3. HA... 阅读全文

posted @ 2017-06-17 13:55 BurningMyself 阅读(149) 评论(0) 推荐(0) 编辑