摘要: 原 维度建模步骤 维度建模步骤 2015年05月15日 10:50:00 阅读数:3553 2015年05月15日 10:50:00 阅读数:3553 阅读数:3553 数据模型是指用实体、属性、实体之间的关系对业务概念和逻辑规则进行统一的定义,命名和编码,主要描述企业的信息需求和业务规则,是业务人 阅读全文
posted @ 2018-08-01 18:46 石下萌芽 阅读(1666) 评论(0) 推荐(0) 编辑
摘要: HDFS小文件弊端: HDFS上每个文件都要在namenode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产生很多的索引文件,一方面会大量占用namenode的内存空间,另一方面就是索引文件过大是的索引速度变慢。 解决的方式: 1:Hadoop本身提供了一些文件压 阅读全文
posted @ 2018-07-04 23:09 石下萌芽 阅读(2737) 评论(0) 推荐(0) 编辑
摘要: hive的库、表等数据实际是hdfs系统中的目录和文件,让开发者可以通过sql语句, 像操作关系数据库一样操作文件内容, 比如执行查询,统计,插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档, 有点小心得分享出来。主要的参考链接 http://tech.meituan.co 阅读全文
posted @ 2018-07-03 12:04 石下萌芽 阅读(4097) 评论(0) 推荐(0) 编辑
摘要: 一.基本功能: </br></br> </br></br> </br></br> </br></br> </br></br></br> 二.扩展Parquet功能: </br></br> </br></br> </br></br> </br></br> 下载parquet的jar包在/usr/lib 阅读全文
posted @ 2018-03-04 16:50 石下萌芽 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 学习java有一段时间了,想更高的使用java,就准备学习些设计模式。设计模式是一种经验,或者说是一种模型,与无头脑的编写代码与使用设计模式相比,设计模式更有效率和规范。 今天介绍单例模式,单例模式就是说,应用的全局某个类只有一个实例,好比你只有一个丈夫或者老婆即可,多了会出乱子。主要用于工具类,线 阅读全文
posted @ 2018-02-28 15:53 石下萌芽 阅读(155) 评论(0) 推荐(0) 编辑
摘要: Git 的教程: 一:git的基础操作--提交,发布 创建一个本地版本库: git init 添加一个文件: git add 提交一个文件到本地版本库: git commit -m 描述信息 查看目前文档的状态: git status 在add前查看修改的内容: git diff 文件名 查看提交的 阅读全文
posted @ 2018-02-28 15:23 石下萌芽 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 刚开始装好hadoop的时候,namenode机上传文件没有错误,今天打开时突然不能上传文件,报错 put: File /a.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There 阅读全文
posted @ 2017-12-21 17:22 石下萌芽 阅读(1960) 评论(0) 推荐(0) 编辑
摘要: 我也是你们的一员,让我们共同成长。。。。。。 阅读全文
posted @ 2016-11-15 15:07 石下萌芽 阅读(188) 评论(0) 推荐(0) 编辑