haddop七：配置集群服务器ssh免登录
摘要：ssh localhost 在主服务器hadoop01上，生成ssh密钥对： ssh配置有三种方式：
阅读全文
posted @ 2018-09-08 21:04
文章分类 - 大数据
hadoop六：搭建hadoop集群
摘要：搭建hadoop集群至少需要3台服务器。 克隆两台服务器： 1.克隆虚拟机 2.克隆后的配置修改： 修改网卡信息 vim /etc/udev/rules.d/70**-net** 修改name 修改主机名： 临时修改 hostname newname 永久修改 vim /etc/sysconfig/
阅读全文
posted @ 2018-09-07 22:14
hadoop五：hadoop之YARN及MapReduce工作流程
摘要：云计算中，分为三个层次的服务：IaaS、PaaS、Saas Iaas：Infrastructure-as-a-Service，基础设施即服务。消费者通过internet可以从完善的计算基础设施获得服务。IaaS通过网络向用户提供计算机(物理机和虚拟机)、存储空间、网络连接、负载均衡和防火墙等基础的计
阅读全文
posted @ 2018-09-06 23:59
hadoop四：hadoop之HDFS
摘要：hadoop三大核心：HDFS、YARN、MapReduce hadoop四大模块： Common、HDFS、YARN、MapReduce Hadoop Common：为其它Hadoop模块提供基础设施 Hadoop Distributed File System (HDFS)：一个高可靠、高吞吐量
阅读全文
posted @ 2018-09-06 23:07
hadoop二：一个hadoop示例
摘要：一个mapduce的示例： 统计hodoop文件夹下的xml文件中的单词数量： output目录不能事先存在，否则可能会覆盖文件。 速度非常快，命令也非常简单使用mapduce下的一个命令，即实现了众多目录下众多文件中的单词的统计。 more ~/output/
阅读全文
posted @ 2018-09-06 22:17
hadoop一：安装配置hadoop
摘要：在安装hadoop之前，要先安装java和ssh 安装java: 安装方式一： 安装方式二： 下载jdk，到以下地址找到相应的jdk安装包，下载。 http://www.Oracle.com/technetwork/Java/javase/downloads/jdk8-downloads-21331
阅读全文
posted @ 2018-09-06 22:09
hadoop一(二)：hadoop目录结构
摘要：hadoop平台，是一个可靠的、可扩展的、分布式存储和计算的开源软件。 hadoop平台，是一个框架，允许使用简单的编程模型，在计算机集群中对大型数据集进行分布式处理。 该平台被设计成可以从单个服务器扩展到数千台服务器，每个服务器都提供本地计算和存储。 该平台也被设计成可检测和处理应用层的故障（即高
阅读全文
posted @ 2018-09-06 22:00
linux下安装hadoop
摘要：【大数据】Linux下安装Hadoop(2.7.1)详解及WordCount运行 一、引言 在完成了Storm的环境配置之后，想着鼓捣一下Hadoop的安装，网上面的教程好多，但是没有一个特别切合的，所以在安装的过程中还是遇到了很多的麻烦，并且最后不断的查阅资料，终于解决了问题，感觉还是很好的，下面
阅读全文
posted @ 2018-09-06 18:48
hadoop五(二)：文件权限
摘要：权限简介 Linux系统上对文件的权限有着严格的控制，用于如果相对某个文件执行某种操作，必须具有对应的权限方可执行成功。 Linux下文件的权限类型一般包括读，写，执行。对应字母为 r、w、x。 Linux下权限的粒度有 拥有者 、群组 、其它组 三种。每个文件都可以针对三个粒度，设置不同的rwx(
阅读全文
posted @ 2018-09-06 10:47
hadoop一：hadoop介绍和安装
摘要：什么是hadoop hadoop是一个开源的、可扩展的、分布式计算和存储的平台。 hadoop允许使用简单的编程模型，在集群中对大型数据进行分布式处理。 hadoop可以从单台服务器扩展到数千台，每个服务器提供本地的计算和存储。 haddop平台，可以检测和处理应用层的故障（高可靠，高容错）。 ha
阅读全文
posted @ 2018-09-05 21:04
hadoop六：shell的简单调试
摘要：shell语法检测： sh -n 脚本名 shell普通调试： sh -x 脚本名 示例，test.py sh -n ./test.py sh -x ./test.py shell 断点调试： sh -x 脚本名 使用ctr + z，暂停 输入fg，继续调试 使用bashdb工具，调试： bashd
阅读全文
posted @ 2018-09-05 20:34
hadoop五：shell脚引入文件
摘要：shell脚本，也可以包含外部脚本。这样可以很方便的封装一些公用的代码作为一个独立文件。 shell文件包含的语法格式： . filename 或者source filename 注意.和file之间有一个空格 示例： 公用的脚本，public.sh： 另一个脚本： 只需要第二个脚本，有执行权限，即
阅读全文
posted @ 2018-09-05 20:09
hadoop四：shell脚本函数
摘要：shell中定义函数： 调用函数：funcname或funcname() 传递参数： funcname 参数1 参数2 .............. 接收上个函数的返回值：$? 示例，返回值： 示例，参数： 接收参数： $1, $2.............$9接收参数；当参数超过两位时，使用${1
阅读全文
posted @ 2018-09-05 19:55
hadoop三：shell脚本条件控制语句
摘要：if语句： 语法格式：条件控制必须首尾对应！有运算符时：运算前后必须要有空格，变量前后必须要有空格；没有运算符时，变量前后不需要空格。 写成一行：if [] ; then ....语句; fi 示例： for 语句： 示例： while语句： 示例： case匹配： 示例：
阅读全文
posted @ 2018-09-05 19:25
ubuntu防火墙
摘要：安装方法 当然，这是有图形界面的(比较简陋)，在新立得里搜索gufw试试…… 使用方法 1 启用 作用：开启了防火墙并随系统启动同时关闭所有外部对本机的访问（本机访问外部正常）。 2 关闭 2 查看防火墙状态 3 开启/禁用相应端口或服务举例 推荐设置 这样设置已经很安全，如果有特殊需要，可以使用s
阅读全文
posted @ 2018-09-03 15:56
hadoop二：shell脚本的基本运算符
摘要：bash中的基本运算符： 所有的运算符前后，必须有空格；参与运算的变量前后，必须有空格 1.数学运算符：原生的bash不支持简单的数学运算，必须使用awk，expr...........等工具 2.关系运算符：使用[]包括关系运算表达式 bash只支持数字的关系运算，不支持字符串。除非字符串的值是数
阅读全文
posted @ 2018-09-02 20:10
hadoop一：shell脚本基础
摘要：一、一个shell脚本： bash shell脚本的首行： #!/bin/bash # 示例：./firstshell 运行脚本的两种常见方式： 1.加可执行权限，直接运行文件 # chmod 744 ./firstshell # ./firstshell 2.使用解释器执行 # /bin/bash
阅读全文
posted @ 2018-09-02 19:02
hadoop八：linux软件安装
摘要：linux安装软件的四种方式： 一、二进制安装： 指事先已经在各种平台编译安装好相关软件，然后压缩打包；在安装时，只需要解压或执行安装可执行文件即可。这种方式，类似windows的安装，它可以保护源代码不对外泄露，保护知识产权。 优点：安装简单；缺点：离开相应的环境就无法运行。 二进制软件包提供多种
阅读全文
posted @ 2018-09-02 15:43
hadoop七：防火墙、网卡的起停、sudoers配置
摘要：cd ~ ：切换到家目录 cd - ：回退到上次目录 1.防火墙的起停： centos 6： 临时启停：service iptables status/start/stop/restart 查看防火墙，是否随系统启动：chkconfig iptables --list 永久关闭防火墙随系统启动：ch
阅读全文
posted @ 2018-09-02 15:24
hadoop六：linux打包、查找、别名
摘要：1 .打包 、解包：tar命令 有tar包、zip包、gzip包 打包：tar -zcvf 打包后的文件包名 要打包的目录 解包：tar -zxvf 包名 [解压到的目录]，默认解压到包所在的目录 选项说明：tar命令的选项 -z 压缩 -c 打包 -x 解包 -f 必须要 -C 指定解包位置 -v
阅读全文
posted @ 2018-09-02 15:02
