摘要：
最近在开发分布式调度系统，采用的Netty+protobuf实现master和work之间通信的，与此同时也看了下Netty的源码，现在系统也开发完了但是总觉得有点不够，不够在哪里？就是产出还不够，所以才有了这篇文章，根据自己的理解画了Netty的架构并对服务端启动和读写数据流程做了解析 一、架构 阅读全文
摘要：
使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这是静态分区。 Hive动态分区步骤如下： 1、建立某一个源表模拟数据源并插入一些数据 2、建立一张分 阅读全文
摘要：
2018年阅读书籍清单 深入分布式缓存 Scala编程 Kafka技术内幕 HIVE编程指南 快学Scala Hbase实战 Hbase权威指南 《未完》 阅读全文
摘要：
转载：http://lxw1234.com/archives/2015/04/101.htm 环境配置： hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node) hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/node) 阅读全文
摘要：
Hive只支持insert和delete操作，并不支持update操作，所以无法实施更新hive里的数据，而HBASE正好弥补了这一点，所以在某些场景下需要将hive和hbase整合起来一起使用。 整合步骤： 1、编辑hive-site.xml配置文件， 添加hive.zookeeper.quoru 阅读全文
摘要：
1. 打开在你的项目文件夹，输入下面的命令 输完上面的命令，文件夹中会出现一个.git文件夹，如下图所示，其他的的文件也会出现蓝色小问号的标志 2. 添加所有文件 注意最后的点是有用的哦 输入完成后，文件夹如下所示 3. 提交所有文件 完成后，文件夹显示如下 都会出现绿色的小对勾 4. 连接到远程仓 阅读全文
摘要：
1、报错：: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that 阅读全文
摘要：
今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模 阅读全文
摘要：
为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。 一般可通过log_error设置 可通过# grep "password" /var/log/mysqld. 阅读全文
摘要：
记得14年开始做用户画像的时候，对于用户画像完全没有概念，以为是要画一幅幅图画，经过两年多的学习和理解，渐渐的总结出了一些方法和技巧，在这里就通过4个W英文字母开头和1个H英文字母开头的单词和大家分享一下我关于用户画像的理解。 本文框架 一、什么是用户画像（What） 用户画像最早是由交互设计之父A 阅读全文