2021年1月11日
centos6-yum源失效问题
摘要： 解决方案 使用阿里的云仓库 curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo 清理和构建新缓存 yum clean all yum makecache 阅读全文
posted @ 2021-01-11 14:35 Choice7 阅读(138) 评论(0) 推荐(0) 编辑
hadoop-源码编译
摘要： 1、配置网络环境及jar准备 hadoop-2.7.2-src.tar.gz jdk-8u144-linux-x64.tar.gz apache-ant-1.9.9-bin.tar.gz（build工具，打包用的） apache-maven-3.0.5-bin.tar.gz protobuf-2.5 阅读全文
posted @ 2021-01-11 14:31 Choice7 阅读(108) 评论(0) 推荐(0) 编辑
2021年1月10日
集群测试
摘要： hdfs 上传小文件到集群 上传大文件到集群 hdfs每个block默认为128m，大于128m的会进行分块存储，下载时为完整下载 文件在hdfs的实际路径 查看HDFS在磁盘存储文件内容 文件删除与验证 阅读全文
posted @ 2021-01-10 14:55 Choice7 阅读(131) 评论(0) 推荐(0) 编辑
2021年1月9日
hadoop完全分布式
摘要： 虚拟机克隆 a. vim /etc/udev/rules.d/70-persistent-net.rules 更改网卡名 b. vim /etc/sysconfig/network-scripts/ifcfg-eth0 更新网卡 c. vim /etc/sysconfig/network 更改主机名 阅读全文
posted @ 2021-01-09 19:36 Choice7 阅读(29) 评论(0) 推荐(0) 编辑
2021年1月8日
Hadoop伪分布式模式
摘要： 搭建在单一服务器 基于官方文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 1、配置：hadoop-env 阅读全文
posted @ 2021-01-08 23:31 Choice7 阅读(62) 评论(0) 推荐(0) 编辑
2021年1月7日
网络设置-指定ip
摘要： 1 克隆centos6、设置网卡 vim /etc/udev/rules.d/70-persistent-net.rules 确定光标所在的位置 d3d删除以下三行，更改NAME为0 vim /etc/sysconfig/network-scripts/ifcfg-eth0 网卡标红的地方做出修改 阅读全文
posted @ 2021-01-07 17:03 Choice7 阅读(74) 评论(0) 推荐(0) 编辑
VI/VIM编辑器
摘要： 一般模式 语法 功能描述 yy 复制光标当前一行 y数字y 复制一段（从第几行到第几行） p 箭头移动到目的行粘贴 u 撤销上一步 dd 删除光标当前行 d数字d 删除光标（含）后多少行 x 删除一个字母，相当于del X 删除一个字母，相当于Backspace yw 复制一个词 dw 删除一个词 阅读全文
posted @ 2021-01-07 14:59 Choice7 阅读(85) 评论(0) 推荐(0) 编辑
hadoop目录结构
摘要： Hadoop目录结构 重要目录结构： bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本 etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件 lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能） sbin目录：存放启动或停止Hadoop相关服务的脚 阅读全文
posted @ 2021-01-07 10:14 Choice7 阅读(151) 评论(0) 推荐(0) 编辑
centos6.8环境搭建
摘要： 1、centos6 yum源失效解决方案 下载使用阿里的云仓库 curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo 清理和构建新缓存 yum clean all yum 阅读全文
posted @ 2021-01-07 09:51 Choice7 阅读(59) 评论(0) 推荐(0) 编辑