牵牛花

2017年8月31日

摘要：原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView# lateral view用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据阅读全文

posted @ 2017-08-31 14:23 牵牛花阅读(588) 评论(0) 推荐(0) 编辑

PV、UV、IP的区别

摘要： PV、UV、IP的区别作者：段漫日期：2010/6/2 23:06:47 网站推广需要一个网站访问统计工具，常用的统计工具有百度统计、51la、量子恒道统计等。网站访问量常用的指标为PV、UV、IP。那么什么是PV、UV和IP，PV、UV、IP的区别是什么？ --首先来看看ip、uv和pv的定义阅读全文

posted @ 2017-08-31 09:12 牵牛花阅读(528) 评论(0) 推荐(0) 编辑

2017年8月30日

spark streaming从指定offset处消费Kafka数据

摘要：重复这个实验的注意事项 1.首先要知道自己topic ,分区数,checkpoint的文件夹 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic t 阅读全文

posted @ 2017-08-30 17:29 牵牛花阅读(5692) 评论(0) 推荐(0) 编辑

kafka demo

摘要： public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "mini1:9092"); props.put("group.id", "test123456"); prop... 阅读全文

posted @ 2017-08-30 15:32 牵牛花阅读(464) 评论(0) 推荐(0) 编辑

junit import org.junit.Test 报错

摘要：由于用的是父-子项目在自项目中各种改都不行,还是报错,而且子项目中明明已经导入了还在报错,后面发现是父项目中的scope是test 注释掉就好了阅读全文

posted @ 2017-08-30 14:17 牵牛花阅读(3019) 评论(0) 推荐(0) 编辑

Parquet

摘要： Parquet是列式存储格式的一种文件类型，列式存储有以下的核心优势: 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量压缩编码可以降低磁盘存储空间，由于同一列的数据类型是一样的，可以使用更搞笑的压缩编码(例如Run Length Encoding和Delta Encoding)进一步几月阅读全文

posted @ 2017-08-30 11:28 牵牛花阅读(412) 评论(0) 推荐(0) 编辑

kafka0.10

摘要：整理kafka相关的常用命令创建主题（4个分区，2个副本）bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test查询集群描述bin/kafka 阅读全文

posted @ 2017-08-30 10:38 牵牛花阅读(1082) 评论(0) 推荐(0) 编辑

2017年8月29日

序列化与反序列化,

摘要：序列化与反序列化,使用场景,在spark中executor执行task时的 task类 task被写到文件经过网络传输到达另一个节点然后执行,(移动计算) 阅读全文

posted @ 2017-08-29 18:00 牵牛花阅读(135) 评论(0) 推荐(0) 编辑

kafka 面试题无答案

摘要： kafka节点之间如何复制备份的？ kafka消息是否会丢失？为什么？ kafka最合理的配置是什么？ kafka的leader选举机制是什么？ kafka对硬件的配置有什么要求？ kafka的消息保证有几种方式？作者：半兽人链接：http://orchome.com/kafka/index来源：阅读全文

posted @ 2017-08-29 11:02 牵牛花阅读(3715) 评论(0) 推荐(0) 编辑

JedisConnectionPool scala

摘要： /** * Created by lq on 2017/8/29. */ object JedisConnectionPool { val config = new JedisPoolConfig() //最大连接数 config.setMaxTotal(10) //最大空闲连接数 config.setMaxIdle(5) //当调用borrow object ... 阅读全文

posted @ 2017-08-29 09:37 牵牛花阅读(796) 评论(0) 推荐(1) 编辑

公告