会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
zhangxuhui
博客园
首页
新随笔
联系
订阅
管理
[置顶]
ambari+ bigtop 编译、打包、部署步骤总览
摘要: ambari bigtop 编译、打包、安装
阅读全文
posted @ 2024-07-31 11:09 zhangxuhui
阅读(563)
评论(3)
推荐(1)
编辑
[置顶]
spark + cassandra +postgres +codis 大数据方案
摘要: 1、环境: 1.1、cassandra 集群: 用于日志数据存储 1.2、spark集群: 用户后期的实时计算及批处理 1.3、codis 集群: 用于缓存一些基本数据如IP归属地,IP经纬度等,当日志上来,对日志进行补全 1.4、postgres数据库: 1、用于存储维度表 2、存储统计结果 1.
阅读全文
posted @ 2016-05-07 20:00 zhangxuhui
阅读(2121)
评论(0)
推荐(0)
编辑
2024年7月30日
ambari2.8+ambari-metrics3.0+bigtop3.2编译、打包、安装
摘要: bigtop编译 资源说明: 软件及代码镜像 开发包镜像 github访问 编译相关知识 技术知识 bigtop编译流程及经验总结 各模块编译难度及大概耗时(纯编译耗时,不包含下载文件和排错时间) centos 真机编译branch-3.2 硬件说明: 编译步骤 下载代码并切换分支 国内镜像配置 基
阅读全文
posted @ 2024-07-30 17:10 zhangxuhui
阅读(618)
评论(0)
推荐(0)
编辑
2022年10月28日
HDP 源码集
摘要: HDP 各个组件的源码(含历史各个版本) 分支 组件 标签 最后发版时间 地址 hadoop 2256 2020-12-21 17:44 https://gitee.com/piaolingzxh/hdsp-hadoop-release hive 2257 2020-12-21 17:44 http
阅读全文
posted @ 2022-10-28 02:42 zhangxuhui
阅读(380)
评论(0)
推荐(0)
编辑
2017年11月25日
Hue 之 SparkSql interpreters的配置及使用
摘要: 1、环境说明: HDP 2.4 V3 sandbox hue 4.0.0 2、hue 4.0.0 编译及安装 地址:https://github.com/cloudera/hue/releases/tag/release-4.1.0(也许是发版这弄错了吧,连接是4.1.0,内容版本是4.0.0) 2
阅读全文
posted @ 2017-11-25 18:29 zhangxuhui
阅读(9823)
评论(1)
推荐(0)
编辑
2016年8月1日
电子商城可以怎么玩销售数据
摘要: 电子商城如果对大数据应用好的话,可以在很大程度上提升业绩。以下就让我们看看,电子商城可以怎么玩销售数据 业务信息 首先,简单了解下电子商城,对于大多数电子商城,一般都有如下业务信息: 1:产品信息 产品大类、产品小类、产品 2:销售信息 订单号、产品、购买数量、购买时间 3:用户 用户名、手机号、收
阅读全文
posted @ 2016-08-01 23:51 zhangxuhui
阅读(491)
评论(0)
推荐(0)
编辑
2016年7月17日
spark streaming 使用geoIP解析IP
摘要: 1、首先将GEOIP放到服务器上,如,/opt/db/geo/GeoLite2-City.mmdb 2、新建scala sbt工程,测试是否可以顺利解析 将该程序打包,放到服务器上,执行scala -cp ./scala_sbt-assembly-1.0.jar test,解析结果如下 countr
阅读全文
posted @ 2016-07-17 16:50 zhangxuhui
阅读(2080)
评论(1)
推荐(1)
编辑
2016年7月9日
【源码学习之spark core 1.6.1 各种部署模式所使用的的TaskSceduler及SchedulerBackend】
摘要: 说明:个人原创,转载请说明出处 http://www.cnblogs.com/piaolingzxh/p/5656879.html 未完待续 未完待续
阅读全文
posted @ 2016-07-09 23:45 zhangxuhui
阅读(324)
评论(0)
推荐(0)
编辑
【源码学习之spark core 1.6.1 standalone模式下的作业提交】
摘要: 说明:个人原创,转载请说明出处 http://www.cnblogs.com/piaolingzxh/p/5656876.html 未完待续
阅读全文
posted @ 2016-07-09 23:42 zhangxuhui
阅读(302)
评论(0)
推荐(0)
编辑
2016年7月1日
【源码学习之spark streaming 1.6.1 】
摘要: 说明:个人原创,转载请说明出处 http://www.cnblogs.com/piaolingzxh/p/5634577.html 未完待续
阅读全文
posted @ 2016-07-01 23:51 zhangxuhui
阅读(277)
评论(0)
推荐(0)
编辑
2016年6月10日
spark udf 初识初用
摘要: 直接上代码,详见注释
阅读全文
posted @ 2016-06-10 15:50 zhangxuhui
阅读(4920)
评论(0)
推荐(0)
编辑
下一页