百里登风

摘要： sudo yum install libaio # 安装依赖包 检查 MySQL 是否已安装 sudo yum list installed | grep mysql 也可以通过命令 rpm -qa|grep -i mysql 如果有，就先全部卸载，命令如下： sudo yum -y remove 阅读全文

摘要： 先给每台机器安装ntp 利用xcall.sh脚步 在每台机器上都执行以下三条命令 阅读全文

摘要： 在写一个mapreduce类之前先添加依赖包 新建一个WordCountMapper类 定义WordCountReducer类 定义WordCountRunner类 打成架包 把打包好的架包上传到集群 然后在集群上运行一个wordcount小案例 阅读全文

摘要： JAVA配置 JAVA_HOME=安装目录 PATH=%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin CLASSPATH=%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar 使用本地的maven环境 安装 Maven 之前要求先确 阅读全文

摘要： 先创建一个脚步文件 对这个脚本进行编辑 给脚本赋予权限 执行脚本 把脚本移动到 /usr/local/bin/目录下 可以直接执行脚本 分别给node2 node3 node4 做一个软链接 这样就可以在node1节点上看到node2 node3 node4的jps状态了 通过编辑脚步来实现同时对多 阅读全文

摘要： -修改hadoop的配置文件 首先修改core-site.xml，添加以下内容 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 修改workers文件，把datanode的节点配置进来 修改hadoop-env.sh文件 接下来我们把node1节点 阅读全文

摘要： 先创建目录 给目录赋予权限 其他3台机器也是一样的操作！！ 上传java安装包和hadoop安装包 解压jdk 配置jdk环境变量 使环境变量生效 接下来配置给每台机器配置免密码登录 添加以下语句。 另外三台机器也这样操作！！！！ 同时配置虚拟机与本地电脑的地址映射关系 添加以下语句 每台机器的各自 阅读全文

摘要： 查看本地源 先删除本地所有源 下载源仓库文件,xxx.repo 是当前的库文件生效 命令：yum clean cache把原来的缓存清除 运行yum makecache生成缓存 命令：yum makecache 更新系统 命令：yum -y update 其他3台机器也是一样的操作。 给hadoop 阅读全文

摘要： 选择上海时间 我们选择桌面版 选择手动配置分区 选择标准分区 修改主机名 开始安装 设置密码 设置用户名 接下来等待安装完 同样的操作再安装3台机器！！这里不多赘述。 安装完之后就重启 接下来给不同机器配置静态ip centos7静态ip的配置方法可以参考：https://www.cnblogs.c 阅读全文

摘要： 我这里是通过连接到centos6.5的大数据集群的主节点，并通过运行hadoop的启动脚本来启动hadoop 本人采用的是SSH的方式连接 通过创建maven项目来编写代码，在编写代码之前需要先导入架包 在pom.xml文件里添加以下语句 编写连接代码： 运行一下代码 检测集群的启动进程： 可以看到 阅读全文