摘要: Hadoop软件有三大核心,HDFS、Yarn、MapReduce。这里我们来说第一个核心HDFS,HDFS全称 Hadoop Distributed File System 是Apache Hadoop项目的一个子项目,是一个分布式文件系统,Hadoop能够适合存储大数量的数据比如TB和PB,其实 阅读全文
posted @ 2014-01-15 20:47 笑城戈 阅读(212) 评论(0) 推荐(0) 编辑
摘要: Hadoop是大数据生态圈的一个泛称,是Apache软件基金会为解决大数据量的文件存储于对大数据的分析计算,成立的一个项目小组叫做Hadoop。Hadoop从狭义来说,就是Hadoop这款大数据分布式分析计算以及存储的系统: HDFS :分布式文件系统 MapReduce : 分布式计算系统 Yar 阅读全文
posted @ 2014-01-05 16:18 笑城戈 阅读(116) 评论(0) 推荐(0) 编辑
摘要: Hadoop集群搭建第一步,就是搭建Zookeeper。Zookeeper是什么?为什么第一步就是要搭建Zookeeper? Zookeeper是什么? 官方是这样描述Zookeeper的,“ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实 阅读全文
posted @ 2014-01-03 13:08 笑城戈 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 昨天我写了关于Linux服务器Java环境安装的相关细节,今天我就来继续把Linux关于MySQL数据库的安装给完善了,关于MySQL数据库安装呢,其实总得来说很简单,因为都不需要你去下载什么安装包,不像mssql那样一个安装包都够你下载一上午了,网络不好的话就更别提了。Linux自带的MySQLr 阅读全文
posted @ 2013-12-26 21:59 笑城戈 阅读(173) 评论(0) 推荐(0) 编辑
摘要: 之前呢我们以及搭建完了我们的Linux服务器集群,如果一直关注我的话,应该记得是三台机器。那么我今天就来为这三台机器分别搭建一套Java编译环境,为什么要搭建Java编译环境呢,因为往后我们要用的Hadoop相关的软件工具绝大多数都是跟Java相关的。 好了话不多说开始搭建我们的Java环境吧。 首 阅读全文
posted @ 2013-12-25 12:35 笑城戈 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 之前写过一篇关于Linux服务器系统的安装与网关的配置,那么现在我们要进一步的搭建多台Linux服务器集群。 关于单台服务器的系统搭建配置就不在赘述了,详情见https://www.cnblogs.com/sky9408251/p/12034904.html 那么好,现在我们来开始搭建多台Linux 阅读全文
posted @ 2013-12-24 09:27 笑城戈 阅读(1182) 评论(0) 推荐(1) 编辑
摘要: 什么是Shell Shell 是一个用 C 语言编写的程序,通过 Shell 用户可以访问操作系统内核服务。 Shell 既是一种命令语言,又是一种程序设计语言。 Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程,不是指开发 shell 自身 阅读全文
posted @ 2013-12-15 23:57 笑城戈 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 1.文件内容操作相关命令 cut 根据条件 从命令结果中 提取 对应内容 -c 按字符选取内容 例子:head -2 1.txt | cut -c 5 截取前两行的第五个字符 -d '分隔符' 指定分隔符 -f n1,n2 分割以后显示第几段内容, 使用(,)拼接 也可以写成 -f 1,2 或者 - 阅读全文
posted @ 2013-12-14 18:01 笑城戈 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 用户 是Linux系统工作中重要的一环, 用户管理包括 用户 与 组 管理,在Linux系统中, 不论是由本级或是远程登录系统, 每个系统都必须拥有一个账号, 并且对于不同的系统资源拥有不同的使用权限对 文件 / 目录 的权限包括: 我们通过ls -l 简写ll 可以看到一个文件夹下全部文件的详细信 阅读全文
posted @ 2013-10-13 22:19 笑城戈 阅读(335) 评论(0) 推荐(0) 编辑
摘要: 1:文件操作类指令 ls 是英文单词list 的简写, 其功能为列出目录的内容,是最常用的命令之一 -a all 显示指定目录下所有子目录与文件, 包含隐藏文件 -l 以列表方式显示文件的详细信息 -h human-readable 配合 -l 以人性化的方式显示文件大小 搭配通配符 (*)号和(? 阅读全文
posted @ 2013-09-23 17:15 笑城戈 阅读(123) 评论(0) 推荐(0) 编辑