摘要: 概览 1- flume简介 2- 系统要求 3- 安装和配置 4- 启动和测试 一、flume的简介 官网地址: http://flume.apache.org/ 1- 概述 Flume是一种分布式,可靠且可用的服务,用于高效地收集,汇总和移动大量日志数据。它具有基于流式数据流的简单而灵活的架构。它 阅读全文
posted @ 2018-04-22 01:37 一叶菩提一粒尘 阅读(798) 评论(0) 推荐(0) 编辑
摘要: 基本命令: [root@master shell]# cd ${HBASE_HOME}[root@master hbase]# pwd/opt/hbase [root@master hbase]# ./bin/hbase shell hbase(main):001:0> status1 active 阅读全文
posted @ 2018-04-18 13:20 一叶菩提一粒尘 阅读(223) 评论(0) 推荐(0) 编辑
摘要: 一、环境: centOs6.5 pcre-8.42 nginx 1.62 二、依赖和库文件安装 [root@master pcre-8.42]# cd /local/[root@master local]# pwd/local[root@master local]# ls pcre-8.42.zip 阅读全文
posted @ 2018-04-18 00:02 一叶菩提一粒尘 阅读(207) 评论(0) 推荐(0) 编辑
摘要: hive的官网地址为: https://hive.apache.org/index.html 入门指南: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 目录: https://cwiki.apache.org/conf 阅读全文
posted @ 2018-04-17 03:12 一叶菩提一粒尘 阅读(371) 评论(0) 推荐(0) 编辑
摘要: hadoop的安装请看http://www.cnblogs.com/zhangmin1987/p/8808711.html 一、Hbase简介 Apache HBase™是Hadoop数据库,这是一个分布式,可扩展的大数据存储。 当您需要随机,实时读取/写入您的大数据时使用Apache HBase™ 阅读全文
posted @ 2018-04-15 11:10 一叶菩提一粒尘 阅读(1488) 评论(0) 推荐(0) 编辑
摘要: 一、时区设置: 然后再配置环境变量 然后reboot 看下时间,我用的是CST(china-shanghai) ,没用UTC , UTC是世界协调时间,比北京时间晚8个小时 二、 时间同步: 三、其他 如果想保证时间更精确,可以在局域网内设置一个服务器采用上述方式获取时间。 然后将其他的 服务器同步 阅读全文
posted @ 2018-04-15 09:24 一叶菩提一粒尘 阅读(915) 评论(0) 推荐(0) 编辑
摘要: 添加的思路为: 扩展硬盘 添加新的主分区--分区格式为文件--挂载--自动挂载设置 一、扩展硬盘 Vmware增大硬盘空间 二、添加新的主分区 查看分区 fdisk -l 创建分区 四、挂载 五、开机自动挂载 vi /etc/fstab ###在末尾加上以下内容 dev/sda4 /opt ext4 阅读全文
posted @ 2018-04-14 21:00 一叶菩提一粒尘 阅读(1722) 评论(0) 推荐(0) 编辑
摘要: 此文主要解决两个问题: 1- 静态地址配置 2-互联网如何路由的。 今天已启动虚拟机,嘿,Inet addr IP没了。。。 以前用的NAT dhcp 自动获取地址觉得还是不靠谱。 那就此给它分配一个静态地址吧。 这个修改对应的文件是 /etc/sysconfig/network-scripts/i 阅读全文
posted @ 2018-04-14 12:20 一叶菩提一粒尘 阅读(444) 评论(0) 推荐(0) 编辑
摘要: 目录 1- zookeeper的作用 2- haddop集群上的zookeeper的安装和配置 3- 集群安装 4- 启动 5- 问题汇总 一、zookeeper的作用 简单点说就是分布式服务器之间在交互上的协调。 ZooKeeper作为分布式系统中重要的组件,目前在业界使用越来越广泛,ZooKee 阅读全文
posted @ 2018-04-13 09:58 一叶菩提一粒尘 阅读(758) 评论(0) 推荐(0) 编辑
摘要: hadoop3.1的结构请查看http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 一、环境准备 1- 三台linux机器(本例为虚拟机) 机器1 192.168.234.129 m 阅读全文
posted @ 2018-04-12 16:38 一叶菩提一粒尘 阅读(1454) 评论(1) 推荐(0) 编辑