摘要: 注:本文原创,转载请注明出处,本人保留对未注明出处行为的责任追究。 1.Huffman树是什么 Huffman树也称为哈夫曼编码,是一种编码方式,常用于协议的制定,以节省传输空间。 A - F字母,出现的频率分别为: A:5,B: 24, C:7,D:17,E:34,F:5,G:13 对比: 1)使 阅读全文
posted @ 2019-04-24 20:01 yosql473 阅读(378) 评论(0) 推荐(0) 编辑
摘要: * 注:本文原创,转载请注明出处,本人保留对未注明出处行为的责任追究。 Hive的一些优化: 优化方向: 1)表的调整: 外部表: 防止数据被删除 分区表: 将数据依据某字段aaa分入不同的目录,使得查找的数据量迅速降低 例如: 以month为分区字段,假如每月产生10TB数据,此时就不需要从120 阅读全文
posted @ 2019-04-24 11:14 yosql473 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 1.storm基本架构 storm的主从分别为Nimbus、Supervisor,工作进程为Worker. 2.计算模型 Storm的计算模型分为Spout和Bolt,Spout作为管口、Bolt作为中间节点,数据传输的单元为tuple,每个tuple都有一个值列表, 需要注意这个值列表是带name 阅读全文
posted @ 2019-04-24 06:40 yosql473 阅读(2684) 评论(0) 推荐(0) 编辑