一、准备

1、准备至少三台linux服务器,并安装JDK

关闭防火墙如下

systemctl stop firewalld.service
systemctl disable firewalld.service

 

2、使用xshell工具,连接三台机器上,同时输入命令操作三台机器,只要如图勾选上即可

1)配置域名与Ip映射关系 vi /etc/hosts

2)配置免密登陆,需每台机器上都生成密钥对,将各自的公钥传输到其他机器上

输入命令:ssh-keygen -t rsa  回车生成密钥对

ssh-copy-id -i .ssh/id_rsa.pub root@bidata112

ssh-copy-id -i .ssh/id_rsa.pub root@bigdata113

ssh-copy-id -i .ssh/id_rsa.pub root@bigdata114

3)保证集群的时间同步

date -s 小时:分钟

 

二、在主节点上安装hadoop (bigdata112)

1、上传并解压hadoop

2、配置/etc/hadoop下的几个文件,hadoop-env.sh,

export JAVA_HOME=/root/training/jdk1.8.0_144

3、hdfs-site.xml

<!--配置数据块的冗余度,默认是3-->
<!--原则冗余度跟数据节点个数保持一致,最大不要超过3-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<!--是否开启HDFS的权限检查,默认是true-->
<!--使用默认值,后面会改为false-->
<!--
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
-->

4、core-site.xml

<!--配置HDFS主节点的地址,就是NameNode的地址-->
<!--9000是RPC通信的端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata112:9000</value>
</property>

<!--HDFS数据块和元信息保存在操作系统的目录位置-->
<!--默认是Linux的tmp目录,一定要修改-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>

5、mapred-site.xml

<!--MR程序运行容器或者框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

6、yarn-site.xml

<!--配置Yarn主节点的位置-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata112</value>
</property>

<!--NodeManager执行MR任务的方式是Shuffle洗牌-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

7、slaves 配置从节点地址

bigdata113
bigdata114

8、对namenode进行格式化

hdfs namenode -format

出现红色部分表示格式化成功

三、把安装好的hadoop复制到从节点

scp -r hadoop-2.7.3/ root@bigdata113:/root/training
scp -r hadoop-2.7.3/ root@bigdata114:/root/training

 

四、在主节点上启动集群

start-all.sh

 

到此全分布式模式安装结束,并能成功启动服务

 

posted @ 2018-10-21 22:26 徽州猿人 阅读(160) 评论(0) 推荐(0) 编辑
摘要: 上一节讲到伪分布式部署,启动后需要输入4次密码,停止服务后也要输入4次密码。本节记录免密登陆原理和实践 假设有2台服务器(A和B)(这是配置原理) 1)A需要远程登录B服务器,那么A就要创建密钥对(私钥和公钥),存储在~/.ssh目录下 2)A将公钥传输到B服务器,保存在~/.ssh/authori 阅读全文
posted @ 2018-10-13 15:00 徽州猿人 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 搭建伪分布式环境,只需要一台Linux服务器,一般开发测试使用 在单机上模拟分布式环境 HDFS:主节点 NameNode 从节点 DataNode SecondaryNameNode yarn: 主节点 ResourceManager 从节点 NodeManager tools和training是 阅读全文
posted @ 2018-08-31 20:55 徽州猿人 阅读(233) 评论(0) 推荐(0) 编辑
摘要: 一、运行环境 1、vmware虚拟机上的centos7系统,安装步骤略,网上搜搜就有,连接工具:secureCRT 2、新安装的linux,是没有wget命令,所以先执行这个命令安装下:yum -y install wget 3、下载redis压缩包,一般外部文件都是放在opt目录,执行cd /op 阅读全文
posted @ 2018-07-01 01:13 徽州猿人 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 项目中除了从pom中添加依赖包,还可以添加本地的jar包,怎么做呢? 1、在src下新建目录lib,将jar包添加到lib中 2、在pom文件里添加配置以下属性,就可以使用jar包了 3、如果打包jar,就需要再配置下,如下,关键最后个resource 4、执行打包,完成 阅读全文
posted @ 2018-06-26 17:01 徽州猿人 阅读(17434) 评论(0) 推荐(0) 编辑
摘要: 在pom文件中添加一下插件 通过以下命令mvn assembly:assembly执行 如果是idea工具,在maven project选项卡下,找到对应的项目,按图所示,双击执行,会生成以-jar-with-dependencies结尾的JAR包. 这个JAR包就包含了项目所依赖的所有JAR的CL 阅读全文
posted @ 2018-06-26 16:53 徽州猿人 阅读(825) 评论(0) 推荐(0) 编辑
摘要: 1 private static final String WX_AGENT = "micromessenger"; 2 private static final String ALI_AGENT = "alipay"; 3 4 5 public String getBrowser(HttpServletRequest request) { 6 ... 阅读全文
posted @ 2018-05-11 16:02 徽州猿人 阅读(382) 评论(0) 推荐(0) 编辑
摘要: 前提: 因微信小程序使用https方式请求服务,故需要配置服务https模式 步骤: 1、Nginx监听80端口,转发到Tomcat的8080端口;服务器使用的是阿里云,操作系统是Windows Server 2012;CA证书也是在阿里云的CA证书服务上面申请的免费证书。 2、申请CA证书 3、证 阅读全文
posted @ 2018-04-23 20:42 徽州猿人 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 在shiro配置类中增加两个方法: 将rememberMeCookie注入到SecurityManager中 在shiro过滤器加入记住我过滤器 然后在登陆页面加入多选框记住我,关键name的值必须和shiro配置类中参数一致 最后附上完整的shiro配置类 阅读全文
posted @ 2018-04-03 14:15 徽州猿人 阅读(1988) 评论(1) 推荐(0) 编辑
摘要: 解决方法: 在shiroConfig配置类中增加如下代码 阅读全文
posted @ 2018-04-01 22:44 徽州猿人 阅读(19943) 评论(0) 推荐(1) 编辑
点击右上角即可分享
微信分享提示