摘要: HIVE简介 1.hive是一个数据仓库存储工具,也是数据处理工具 2.hive存储的数据,是放在hdfs上的 3.hive可以用hive sql(hql)进行数据处理 4.hive sql实际上内部回执行hadoop的mapreduce 4.1hive早期版本 只要执行hql就会执行mapredu 阅读全文
posted @ 2018-01-08 15:10 啸傲风月 阅读(226) 评论(0) 推荐(0) 编辑
摘要: 1.上传压缩包 2.解压 3.修改环境变量 1、 在master机器上执行下面命令: su – root vi/etc/profile 添加内容: export HBASE_HOME= /root/app/hadoop/hbase-1.1.13 export PATH=$PATH:$HBASE_HO 阅读全文
posted @ 2018-01-04 15:24 啸傲风月 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 1.创建文件夹,将zookeeper压缩包上传 2.解压压缩包 tar -zxvf zookeeper-3.4.5.tar.gz 3.打开解压文件夹,进入conf文件夹 将zoo_sample.cfg复制或重命为zoo.cfg 更改后的目录: 4.打开zoo.cfg进行配置 dataDir为存放数据 阅读全文
posted @ 2018-01-04 15:11 啸傲风月 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 1、创建目录 2、删除目录 1 import java.io.IOException; 2 import org.apache.hadoop.conf.Configuration; 3 import org.apache.hadoop.fs.FileSystem; 4 import org.apac 阅读全文
posted @ 2018-01-03 10:56 啸傲风月 阅读(612) 评论(0) 推荐(0) 编辑
摘要: vi /etc/sysconfig/network-scripts/ifcfg-eth0 重启network 服务 使ip生效 service network restart 查看配置的ip是否生效 阅读全文
posted @ 2017-12-28 18:12 啸傲风月 阅读(193) 评论(0) 推荐(0) 编辑
摘要: package hadoopDemo; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; 阅读全文
posted @ 2017-12-26 14:46 啸傲风月 阅读(3101) 评论(0) 推荐(0) 编辑
摘要: 推荐一款ftp客户端工具:iis7服务器管理工具IIs7服务器管理工具可以批量管理ftp站点,同时具备定时上传下载的功能。作为服务器集成管理器,它最优秀的功能就是批量管理windows与linux系统服务器、vps。能极大的提高站长及服务器运维人员工作效率。同时iis7服务器管理工具还是vnc客户端 阅读全文
posted @ 2017-12-26 14:39 啸傲风月 阅读(87101) 评论(0) 推荐(1) 编辑
摘要: Hadoop配置 一、配置jdk 二、配置ssh及免密登录 三、上传hadoop2.6.4.tar.gz文件到linux1 四、创建安装目录,并把hadoop2.6.4.tar.gz文件解压到目录中 下载地址:http://hadoop.apache.org/releases.html 命令:tar 阅读全文
posted @ 2017-12-25 17:32 啸傲风月 阅读(483) 评论(0) 推荐(0) 编辑
摘要: Hadoop Hadoop 主要用来存储和计算,但其计算能力相对较弱 Hadoop一般用两种数据库: 1.hive (sql) 2.hbase(no sql) Hadoop组成 1.hdfs存储 特点:容量可变,数据冗余,存储分割 2.MapReduce计算 3.yarn 资源调度(cgroup) 阅读全文
posted @ 2017-12-25 14:15 啸傲风月 阅读(249) 评论(0) 推荐(0) 编辑
摘要: Shell 输入/输出重定向 大多数 UNIX 系统命令从你的终端接受输入并将所产生的输出发送回​​到您的终端。一个命令通常从一个叫标准输入的地方读取输入,默认情况下,这恰好是你的终端。同样,一个命令通常将其输出写入到标准输出,默认情况下,这也是你的终端。 重定向命令列表如下: 需要注意的是文件描述 阅读全文
posted @ 2017-12-22 15:46 啸傲风月 阅读(280) 评论(0) 推荐(0) 编辑