2018年9月23日
Flume环境安装
摘要： 源码包下载： 集群环境： 下载安装包： Flume配置: #Netcat cd /usr/local/flume/conf vim flume-netcat.conf 验证： 结果如图： #Exec cd /usr/local/flume/conf vim flume-exec.conf 验证： 结 阅读全文
posted @ 2018-09-23 14:08 wang_zai 阅读(223) 评论(0) 推荐(0) 编辑
kafka环境安装
摘要： 源码包下载： http://archive.apache.org/dist/kafka/1.0.0/ 集群环境： master 192.168.1.99 slave1 192.168.1.100 slave2 192.168.1.101 下载安装包： # Master wget http://arc 阅读全文
posted @ 2018-09-23 11:07 wang_zai 阅读(696) 评论(0) 推荐(0) 编辑
spark环境安装
摘要： 源码包下载： 集群环境： 下载安装包： 修改配置文件： vim slaves 配置环境变量： #Master slave1 slave2 拷贝安装包： 启动集群： 集群状态： #Master #slave1 #slave2 监控网页： http://master:8080 验证： #本地模式 run 阅读全文
posted @ 2018-09-23 10:40 wang_zai 阅读(220) 评论(0) 推荐(0) 编辑
2018年9月20日
kylin与superset整合
摘要： 前提： kylin安装以及配置可以参考 https://www.cnblogs.com/654wangzai321/p/9676204.html 我这边用的Linux自带的python2.7，为了保证一个干净的Python环境，我这边使用Python的virtualenv环境 Python virt 阅读全文
posted @ 2018-09-20 16:28 wang_zai 阅读(1678) 评论(0) 推荐(0) 编辑
2018年9月19日
kylin对接hive实现实时查询
摘要： 前提： 安装kylin之前，需要安装hadoop2.0、hbase、hive，并且对版本有要求，可以参照官网链接 http://kylin.apache.org/cn/docs/install/index.html 我这边用的版本为： hadoop2.7.5 hbase1.4.1 hive2.3.2 阅读全文
posted @ 2018-09-19 18:56 wang_zai 阅读(12454) 评论(1) 推荐(2) 编辑
hbase基本操作
摘要： 1. 创建表 2. 查看所有的表 3. 查看表的结构 4. 修改一个列族的VERSION，即保留的次数 5. 删除某个列族 6. 查看某一表是否存在 7. 查看表结构是否允许修改 8. 删除某张表 9. 向表中插入数据 10. 删除某行数据的列[值] 11. 删除某行数据 12. 获取某个行健的所有 阅读全文
posted @ 2018-09-19 11:35 wang_zai 阅读(284) 评论(0) 推荐(0) 编辑
2018年9月18日
Hive环境安装
摘要： 说明： （Hbase依赖于Hadoop，同时需要把元数据存放在mysql中），mysql自行安装 Hadoop2.0安装参考我的博客： https://www.cnblogs.com/654wangzai321/p/8603498.html 源码包下载： 集群环境： 下载安装包： 修改配置文件： c 阅读全文
posted @ 2018-09-18 23:06 wang_zai 阅读(207) 评论(0) 推荐(0) 编辑
Hbase环境安装
摘要： 说明： （Hbase依赖于HDFS和zookeeper） 参考我的博客： https://www.cnblogs.com/654wangzai321/p/8603498.html https://www.cnblogs.com/654wangzai321/p/9670637.html 源码包下载： 阅读全文
posted @ 2018-09-18 22:39 wang_zai 阅读(129) 评论(0) 推荐(0) 编辑
Zookeeper环境安装
摘要： 源码包下载： 集群环境： 下载安装包： 修改配置文件： mv zoo_sample.cfg zoo.cfg vim zoo.cfg dataDir=/usr/local/zookeeper/data dataLogDir=/usr/local/zookeeper/log server.1=maste 阅读全文
posted @ 2018-09-18 18:24 wang_zai 阅读(154) 评论(0) 推荐(0) 编辑
2018年8月21日
intellij-idea打包Scala代码在spark中运行
摘要： 、创建好Maven项目之后（记得添加Scala框架到该项目），修改pom.xml文件，添加如下内容： 其中保存之后，需要点击下面的import change，这样相当于是下载jar包 二、编写一个Scala程序，统计单词的个数 三、打包 file->Porject Structure->Artifa 阅读全文
posted @ 2018-08-21 19:33 wang_zai 阅读(2731) 评论(0) 推荐(0) 编辑