随笔分类 -  大数据

nginx插入lua脚本访问redis
摘要:目标:收集用户日志 流程: 浏览器端get方法将数据传到nginx服务 nginx收集到数据,执行内嵌lua脚本,访问redis,根据token获得用户id 将日志信息存入文件 1、nginx安装,参见:http://www.cnblogs.com/unreal/articles/7739290.h 阅读全文

posted @ 2018-03-22 20:47 虚幻 阅读(1559) 评论(0) 推荐(0) 编辑

一条shell命令让多台Linux服务器执行
摘要:1、环境 局域网环境有3台Linux服务器,配置host文件 [root@master1 ~]# vim /etc/hosts 2、配置master1免密码访问slave1和slave2 #将master1的id_rsa.pub文件的内容追加到slave1和slave2的authorized_key 阅读全文

posted @ 2018-03-22 20:11 虚幻 阅读(3221) 评论(0) 推荐(0) 编辑

Spark读写HBase
摘要:Spark读写HBase示例 1、HBase shell查看表结构 2、HBase shell插入数据 3、pom.xml: 4、源码: 5、maven打包 mvn clean scala:compile compile package 6、提交运算 阅读全文

posted @ 2017-09-29 14:30 虚幻 阅读(390) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示