Flume+HBase+Kafka集成与开发
摘要：先把flume1.7的源码包下载 http://archive.apache.org/dist/flume/1.7.0/ 下载解压后 我们通过IDEA这个软件来打开这个工程 点击ok后我们选择打开一个新的窗口 不过这个默认方式导入加载时间很长，建议大家用maven方式导入。 导入之后我们看这个类 看
阅读全文
posted @ 2018-01-23 01:59
01 2018 档案
Flume数据采集准备
摘要：， flume的官网：http://flume.apache.org/ flume的下载地址：http://flume.apache.org/download.html 这里我们用的是apache版本的flume 解压 改下名字 把不必要的文件删除 flume用户指南官网地址：https://cwi
阅读全文
posted @ 2018-01-20 00:39
Kafka分布式集群部署
摘要：这个是kafka的官网地址：http://kafka.apache.org/ 1、kafka是一个消息系统。 2、kafka对流数据可以高效的实时处理。 3、分布式集群的环境下能够保证数据的安全。 kafka的下载地址：http://kafka.apache.org/downloads 把安装包上传
阅读全文
posted @ 2018-01-19 00:11
HBase分布式集群部署与设计
摘要：先是把cdh版本的hbase上传上来 把安装吧的权限设置一下 解压 把没用的东西干掉 hbase的官网 配置文件 到hbase-site.xml 下面我不基于HA配置了 把hbase分发到其他两个节点上 启动进程 打开测试页面没问题 现在启动hbase 这个时候发现Hmaster挂掉了！！！ 查看一
阅读全文
posted @ 2018-01-18 21:17
spark新闻项目环境搭建
摘要：前面安装好三节点的centos 6.5 和配置好静态ip,这里就不多说了 创建kfk用户，然后重启 设置主机名 接下来是主机名与ip地址的映射 配置完了重启 重启后可以看到我们的主机名改变了 接下来在windows下的映射 找到这个路径下的hosts文件，用记事本编辑 在后面加上 通过软件 实现远程
阅读全文
posted @ 2018-01-15 21:03
如何在ubuntu系统里面用新加装的硬盘对系统进行扩容
摘要：我这里是用256G的固态硬盘安装了系统，想通过扩展1T的机械硬盘存储数据的，现在我们需要的就是把这个1T的硬盘进行扩容进去 使用df -h和sudo fdisk -l命令查看磁盘情况 切换到root用户下 ，选择需要进行分区的磁盘（因为系统在安装在 /dev/sdb,所以我们就用到了/dev/sda
阅读全文
posted @ 2018-01-12 16:19
