摘要：
最近一次在合并代码分支的时候，切换到uat分支后，就莫名出现有些代码找不到类，而且点进去一个类就会报红。 造成的原因就是电脑在切换分支后，有时候会反应不过来，造成缓存错乱。 解决方法就是清除idea缓存，重启IDEA。 阅读全文
摘要：
本人在准备看flink某一方法的源码是出现下载不了的问题，报错日志如下： java.rmi.ConnectException: Connection refused to host: 127.0.0.1; nested exc java.net.ConnectException: Connectio 阅读全文
摘要：
Canal是阿里的开源工具，用于同步MySQL数据库变更。 可以监听数据库的变化，从而获取新增数据，或者修改的数据。 Canal在项目中用于数据增量同步操作，可以将数据同步到redis，其他MySQL，ES等。 mysql主从复制实现： 主服务器将更改记录到binlog中（这些记录称为binlog事 阅读全文
摘要：
kafka的ISR机制被成为“不丢消息”机制。在说ISR机制前，先讲一下kafka的副本（replica）。 kafka的Replica 1.kafka的topic可以设置有N个副本（replica），副本数最好要小于broker的数量，也就是要保证一个broker上的replica最多有一个，所以 阅读全文
摘要：
Data streaming转为DataFrame，不能直接一步转到DF，需要先转为RDD，然后再转到DF，我们用流式处理数据后，再通过spark sql实时获取我们想要的结果。 1.首先老规矩，创建spark上下文对象，spark SQL和spark Streaming，再创建个socket在Li 阅读全文
摘要：
用spark streamming统计单词数量时，reduceBykey只会统计局部的单词数量，每个batch的每个单词的数量，而不能统计每个key所有value值。 所以想要统计全局key的value值，就必须加入有状态计算updataStatusBykey,更新每一个key的状态。 在计算单词数 阅读全文
摘要：
SQL语句在工作中必不可少，所有在实现功能的基础上进行优化是提升价值的关键所在。 1.在进行查询过程中，尽可能的避免全表扫描，并且考虑在where和order by所涉及的列建立索引。 SELECT * FROM customer WHERE name ='阿爆' ; CREATE UNIQUE I 阅读全文
摘要：
在Spark1.6版本中，试图为RDD，DataFrame提供一个新的实验性接口Dataset api接口,所以从范围来说，下面这张图能表明： Dataframe是Dataset的row类型。 RDD 是弹性的分布式数据集。 1.懒执行且不可变，支持lambda表达式的并行数据集合 2.面向对象的编 阅读全文
摘要：
HBaseAdmin是一个类表示管理，通过这个类可执行管理角色。HBaseAdmin这个类属于org.apache.hadoop.hbase.client包。 创建HBaseAdim实例 获取表实例 创建列簇描述 向表描述中加载列簇 调用HBaseAdmin创建表 后面可以通过HBaseAdmin对 阅读全文
摘要：
1.创建一个scan扫描对象 2. scan对象中有setStartRow方法和setStopRow方法，分别指向开始扫描的rowkey和结束扫描的rowkey 3.scan对象中的addColumn方法指向所要查询的列簇中的某个列 要注意点是在指向同一列簇中的列时，要按照字典顺序指定，如果跳着指定 阅读全文