06 2017 档案

hive的数据存储格式
摘要：hive的数据存储格式 Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。 1 列式存储和行式存储 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点： 查询满足条件的一整行数 阅读全文
posted @ 2017-06-19 15:40 zhangqi0828 阅读(514) 评论(0) 推荐(0) 编辑
hive的内置函数
摘要：Hive函数 1、内置函数 内容较多，见《Hive官方文档》 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive 阅读全文
posted @ 2017-06-19 12:12 zhangqi0828 阅读(136) 评论(0) 推荐(0) 编辑
Hive自定义函数
摘要：Hive自定义函数 1.Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 2.当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3.根据用户自定义函数类别 阅读全文
posted @ 2017-06-15 12:20 zhangqi0828 阅读(332) 评论(0) 推荐(0) 编辑
spark编译
摘要：为什么要对spark进行重新编译? 由于我们所有的环境统一使用CDH的软件版本，并且对应的CDH版本是5.14.0这个版本，所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spark对应的5.14.0的CDH版本的软件spark的版本还停留在spark1.x，并且CDH版本的sp 阅读全文
posted @ 2017-06-15 11:05 zhangqi0828 阅读(194) 评论(0) 推荐(0) 编辑
Impala的安装和使用
摘要：通过本地yum源进行安装impala 所有cloudera软件下载地址 http://archive.cloudera.com/cdh5/cdh/5/ http://archive.cloudera.com/cdh5/ 1、 impala的介绍 imala基本介绍 impala是cloudera提供 阅读全文
posted @ 2017-06-15 11:04 zhangqi0828 阅读(3769) 评论(0) 推荐(0) 编辑
数据库的读写分离
摘要：1 Mycat读写分离 数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置 Mycat读写分离和自动切换机制，需要mysq 阅读全文
posted @ 2017-06-10 16:39 zhangqi0828 阅读(405) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示