yuerspring

摘要： 1 hive表关联查询，如何解决数据倾斜的问题?倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;... 阅读全文

posted @ 2016-10-14 22:35 yuerspring 阅读(197) 评论(0) 推荐(0) 编辑

摘要： hbase 的特点是什么 (1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。(2) Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。(3) Hba... 阅读全文

posted @ 2016-10-14 22:33 yuerspring 阅读(283) 评论(0) 推荐(0) 编辑

摘要： (1) storm是一个进程常驻内存的、分布式的，对数据实时流式处理框架，不同于MR的批处理和spark streaming的微批处理，storm实现了对数据处理的毫秒级延迟。它的数据源被称为SPOUT，数据处理流程被称为BOLT(2)storm一般应用于对数据的处理... 阅读全文

posted @ 2016-10-14 22:30 yuerspring 阅读(1232) 评论(0) 推荐(0) 编辑

摘要： GC机制：分配对象使用new关键字;释放对象时，只要将对象所有引用赋值为null，让程序不能够再访问到这个对象，我们称该对象为"不可达的".GC 将负责回收所有"不可达"对象的内存空间。jvm 调优方法:1.最基本的建议就是尽早释放无用对象的引用。大多数程序员在使用临... 阅读全文

posted @ 2016-10-14 22:23 yuerspring 阅读(260) 评论(0) 推荐(0) 编辑

摘要： 1.在Hadoop中定义的主要公用InputFormat中，默认是哪一个？（A） A、 TextInputFormatB、 KeyValueInputFormatC、 SequenceFileInputFormat 1. 下面哪个程序负责 HDFS 数据存储？（C）... 阅读全文

posted @ 2016-10-14 22:19 yuerspring 阅读(238) 评论(0) 推荐(0) 编辑

摘要： Redis 个人理解和常用命令以及应用场景redis ,启动服务器端：redis-server.exe redis.confRedis 启动客户端redis-cli.exe -h 127.0.0.1 -p 6379Redis 下载：https://github.c... 阅读全文

posted @ 2016-10-14 15:16 yuerspring 阅读(120) 评论(0) 推荐(0) 编辑

摘要：各软件版本：Java : 1.7.0_79Hadoop ： hadoop-2.6.5-src.tar.gzmaven：3.3.9protocbuf：2.5解压缩 tar -zxvf 1 配置maven 环境变量 export MAVEN_HOME=/root/com... 阅读全文

posted @ 2016-10-12 22:18 yuerspring 阅读(231) 评论(0) 推荐(0) 编辑

摘要： Openstack 的介绍，安装以及简单应用阅读全文

posted @ 2016-10-12 08:35 yuerspring 阅读(103) 评论(0) 推荐(0) 编辑

摘要： Docker 的介绍，安装以及简单应用docker 在centos 中的安装 docker 工具docker-composeyum install epel-release 软件源yum install -y dockersystemctl start dock... 阅读全文

posted @ 2016-10-12 08:35 yuerspring 阅读(90) 评论(0) 推荐(0) 编辑

摘要：星型模型和雪花模型的应用场景从现在项目中看大部分 Fact 和 Dimnsn 的关联关系都是星型的，有很少量的是采用了雪花型的。至于什么模式适用什么场景很难有一个可靠的规则去决定，主要裁决与模型的运行效率和 BA 的经验，以及现行的趋势 ... 阅读全文

posted @ 2016-10-11 11:38 yuerspring 阅读(1010) 评论(0) 推荐(0) 编辑