摘要: 最近在开发分布式调度系统,采用的Netty+protobuf实现master和work之间通信的,与此同时也看了下Netty的源码,现在系统也开发完了但是总觉得有点不够,不够在哪里?就是产出还不够,所以才有了这篇文章,根据自己的理解画了Netty的架构并对服务端启动和读写数据流程做了解析 一、架构 阅读全文
posted @ 2019-07-01 19:42 健身男儿挑灯夜读 阅读(251) 评论(0) 推荐(0) 编辑
摘要: 使用hive储存数据时,需要对做分区,如果从kafka接收数据,将每天的数据保存一个分区(按天分区),保存分区时需要根据某个字段做动态分区,而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区,这是静态分区。 Hive动态分区步骤如下: 1、建立某一个源表模拟数据源并插入一些数据 2、建立一张分 阅读全文
posted @ 2018-11-12 15:34 健身男儿挑灯夜读 阅读(9516) 评论(3) 推荐(0) 编辑
摘要: 2018年阅读书籍清单 深入分布式缓存 Scala编程 Kafka技术内幕 HIVE编程指南 快学Scala Hbase实战 Hbase权威指南 《未完》 阅读全文
posted @ 2018-11-09 15:02 健身男儿挑灯夜读 阅读(128) 评论(0) 推荐(0) 编辑
摘要: 转载:http://lxw1234.com/archives/2015/04/101.htm 环境配置: hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node) hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node) 阅读全文
posted @ 2018-09-27 16:41 健身男儿挑灯夜读 阅读(241) 评论(0) 推荐(0) 编辑
摘要: Hive只支持insert和delete操作,并不支持update操作,所以无法实施更新hive里的数据,而HBASE正好弥补了这一点,所以在某些场景下需要将hive和hbase整合起来一起使用。 整合步骤: 1、编辑hive-site.xml配置文件, 添加hive.zookeeper.quoru 阅读全文
posted @ 2018-09-25 09:57 健身男儿挑灯夜读 阅读(467) 评论(0) 推荐(0) 编辑
摘要: 1. 打开在你的项目文件夹,输入下面的命令 输完上面的命令,文件夹中会出现一个.git文件夹,如下图所示,其他的的文件也会出现蓝色小问号的标志 2. 添加所有文件 注意最后的点是有用的哦 输入完成后,文件夹如下所示 3. 提交所有文件 完成后,文件夹显示如下 都会出现绿色的小对勾 4. 连接到远程仓 阅读全文
posted @ 2018-09-04 10:13 健身男儿挑灯夜读 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 1、报错:: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that 阅读全文
posted @ 2018-08-27 10:08 健身男儿挑灯夜读 阅读(1686) 评论(0) 推荐(0) 编辑
摘要: 今天看了一些专业的解释,还是对ODS、DW和DM认识不深刻,下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模 阅读全文
posted @ 2018-06-27 15:02 健身男儿挑灯夜读 阅读(1026) 评论(0) 推荐(0) 编辑
摘要: 为了加强安全性,MySQL5.7为root用户随机生成了一个密码,在error log中,关于error log的位置,如果安装的是RPM包,则默认是/var/log/mysqld.log。 一般可通过log_error设置 可通过# grep "password" /var/log/mysqld. 阅读全文
posted @ 2018-06-21 11:33 健身男儿挑灯夜读 阅读(341) 评论(0) 推荐(0) 编辑
摘要: 记得14年开始做用户画像的时候,对于用户画像完全没有概念,以为是要画一幅幅图画,经过两年多的学习和理解,渐渐的总结出了一些方法和技巧,在这里就通过4个W英文字母开头和1个H英文字母开头的单词和大家分享一下我关于用户画像的理解。 本文框架 一、什么是用户画像(What) 用户画像最早是由交互设计之父A 阅读全文
posted @ 2018-06-20 17:02 健身男儿挑灯夜读 阅读(1030) 评论(0) 推荐(0) 编辑