摘要:
概览 1- flume简介 2- 系统要求 3- 安装和配置 4- 启动和测试 一、flume的简介 官网地址: http://flume.apache.org/ 1- 概述 Flume是一种分布式,可靠且可用的服务,用于高效地收集,汇总和移动大量日志数据。它具有基于流式数据流的简单而灵活的架构。它 阅读全文
摘要:
基本命令: [root@master shell]# cd ${HBASE_HOME}[root@master hbase]# pwd/opt/hbase [root@master hbase]# ./bin/hbase shell hbase(main):001:0> status1 active 阅读全文
摘要:
一、环境: centOs6.5 pcre-8.42 nginx 1.62 二、依赖和库文件安装 [root@master pcre-8.42]# cd /local/[root@master local]# pwd/local[root@master local]# ls pcre-8.42.zip 阅读全文
摘要:
hive的官网地址为: https://hive.apache.org/index.html 入门指南: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 目录: https://cwiki.apache.org/conf 阅读全文
摘要:
hadoop的安装请看http://www.cnblogs.com/zhangmin1987/p/8808711.html 一、Hbase简介 Apache HBase™是Hadoop数据库,这是一个分布式,可扩展的大数据存储。 当您需要随机,实时读取/写入您的大数据时使用Apache HBase™ 阅读全文
摘要:
一、时区设置: 然后再配置环境变量 然后reboot 看下时间,我用的是CST(china-shanghai) ,没用UTC , UTC是世界协调时间,比北京时间晚8个小时 二、 时间同步: 三、其他 如果想保证时间更精确,可以在局域网内设置一个服务器采用上述方式获取时间。 然后将其他的 服务器同步 阅读全文
摘要:
添加的思路为: 扩展硬盘 添加新的主分区--分区格式为文件--挂载--自动挂载设置 一、扩展硬盘 Vmware增大硬盘空间 二、添加新的主分区 查看分区 fdisk -l 创建分区 四、挂载 五、开机自动挂载 vi /etc/fstab ###在末尾加上以下内容 dev/sda4 /opt ext4 阅读全文
摘要:
此文主要解决两个问题: 1- 静态地址配置 2-互联网如何路由的。 今天已启动虚拟机,嘿,Inet addr IP没了。。。 以前用的NAT dhcp 自动获取地址觉得还是不靠谱。 那就此给它分配一个静态地址吧。 这个修改对应的文件是 /etc/sysconfig/network-scripts/i 阅读全文
摘要:
目录 1- zookeeper的作用 2- haddop集群上的zookeeper的安装和配置 3- 集群安装 4- 启动 5- 问题汇总 一、zookeeper的作用 简单点说就是分布式服务器之间在交互上的协调。 ZooKeeper作为分布式系统中重要的组件,目前在业界使用越来越广泛,ZooKee 阅读全文
摘要:
hadoop3.1的结构请查看http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 一、环境准备 1- 三台linux机器(本例为虚拟机) 机器1 192.168.234.129 m 阅读全文