摘要：
本篇记录Zookeeper集群安装，版本为3.4.10 1，解压Zookeeper安装包到/opt/module/目录下 [root@master software]# tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/ 2，同步/opt/module 阅读全文
摘要：
本篇记录了Hive的安装，由于Metastore默认存储在自带的derby数据库中，derby数据库只能开一个一个客户端，无法满足集群的业务需求，推荐使用MySQL存储Metastore;这里Hive版本为1.2.1 （一）Hive安装 1，将Hive安装包，上传到software目录下，同样解压到 阅读全文
摘要：
我使用的是完全分布运行模式。上一篇安装了JDK，本篇记录Hadoop的安装，版本2.7.2 （一）配置文件 1，先将hadoop安装包解压到module目录下 2，配置hadoop-env.sh。vi /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh 阅读全文
摘要：
前面集群的准备工作都做完了，本篇记录安装JDK，版本位1.8 1，在opt目录下创建software和module文件夹；software用来放安装包，module为安装目录 2，把JDK和hadoop安装包，导入software。这里我利用xshell的文件传输功能 3，把JDK解压到module 阅读全文
摘要：
继上篇关闭防火墙之后，因为后面我们会管理一个集群，在VMware中不断切换不同节点，为了管理方便我选择xshell这个连接工具，大家也可以选择SecureCRT等工具。 本篇记录一下3台机器集群的搭建。 （一）克隆虚拟机 1，VMware界面，我的计算机master，右键，管理，克隆 2，下一步，选 阅读全文
摘要：
一、centos关闭防火墙 1，关闭防火墙。service iptables stop 2，关闭防火墙开机自启。chkconfig iptables off 3，查看防火墙状态。service iptables status 二、Windows关闭防火墙 网络--右键 属性--关闭防火墙 现在一台基 阅读全文
摘要：
安装完centos之后，进入系统，进行网络配置。主要分为五个部分： 修改虚拟机网络编辑器；配置Winodws访问虚拟机；配置centos网卡；通过网络名访问虚拟机配置网络服务。 （一）虚拟机网络编辑器 1，Vmware菜单栏，编辑，选择虚拟机网络编辑器 2，进入虚拟机网络编辑器，选择右下角更改设置 阅读全文
摘要：
这篇记录在创建好的虚拟机中安装centos6.8 1，在虚拟机界面-选择编辑虚拟机设置 2，CD/DVD，选择使用ISO映像文件，找到安装包的位置，确定 3，回到虚拟机的界面，开启此虚拟机 4，安装 5，跳过检测Tab，skip 6，进入安装界面，next 7，语言选择，简体中文 8，键盘，美国英语 阅读全文
摘要：
最近用到Java批量处理，一次性处理多个文件夹下的多个文件，在此记录一下。 我的思路：首先要保证文件夹和文件夹下的文件的命名是有规律的，利用for循环，每次自增变量，再拼接字符串，从而得到各个文件的路径。 我要处理的数据有7个文件夹，每个文件夹下有6个文件；文件夹以1101、1102、...1107 阅读全文
摘要：
Hadoop集群的搭建包括，虚拟机系统的安装；安装JDK，Hadoop；克隆虚拟机；伪分布式的搭建；安装zookeeper；Hive；Hbae；Spark等等； 我将分为多篇文章来记录。这篇文章主要写虚拟机的创建，软件版本：VMware 15.5.0 1，打开VMware，左上角文件菜单栏-选择创建 阅读全文