关注公众号数据社,获取大数据、数据分析资料

数据社

专注大数据、数据分析、MPP数据库技术分析

摘要: 最近在使用vertica,上网找了很多资料都没有,只有自己看官方文档动手搞一下了,今天搞了vertica的备份与恢复 以下是整理的过程,分享给大家,如有问题欢迎大家指正~ 可加QQ群交流:412191494 1、vertica备份 1.1 vertica备份配置: 备份成功后查看备份的文件内容如下: 阅读全文
posted @ 2020-04-09 15:51 WindyQin 阅读(850) 评论(0) 推荐(0) 编辑
摘要: 一、 安装环境 Vertica官方提供了消费kafka的方法,需要注意版本对应 消费kafka原理,是Vertica提供的Udx 首先需要安装相应的环境 判断是否安装成功 二、 单次消费kafka 参考官方文档 "Using COPY with Kafka" 三、 实时消费kafka 参考官方文档 阅读全文
posted @ 2020-04-09 15:49 WindyQin 阅读(512) 评论(0) 推荐(0) 编辑
摘要: 关于如何消费kafka数据,请参看 "Vertica的这些事(十四)——Vertica实时消费kafka实现" 最近有小伙伴提出了消费kafka的一些疑问,答疑如下: 1、 Vertica消费kafka机制是什么? Vertica通过scheduler来按定义的频度调度执行copy table fr 阅读全文
posted @ 2020-04-09 15:48 WindyQin 阅读(337) 评论(0) 推荐(0) 编辑
摘要: vertica存储统计信息: 表数量: 分区表数量: 总表占大小: 分区表总大小: 分区表大小(前10): 分区表每个分区的大小(前20): 阅读全文
posted @ 2020-04-09 15:46 WindyQin 阅读(588) 评论(0) 推荐(0) 编辑
摘要: 1、版本信息 2、license信息 3、各节点硬盘使用情况 4、各节点内存使用情况 5、每个scheme 数据使用情况 阅读全文
posted @ 2020-04-08 13:29 WindyQin 阅读(384) 评论(0) 推荐(0) 编辑
摘要: vertica group by优化语句,先对语句进行explain 操作查看预执行计划,其中group by 分为 GROUPBY PIPELINED 和 GROUPBY HASH,通过执行计划可以清楚的看到vertica到底采用的那种执行方式,优化一般就是吧GROUPBY HASH优化为GROU 阅读全文
posted @ 2020-04-08 13:26 WindyQin 阅读(412) 评论(0) 推荐(0) 编辑
摘要: Json格式对于现在所有的软件开发者都不陌生,很多数据格式都用他来存储,我们来看一下vertica是怎么处理json数据的。这就是vertica的flex table! ================================================================= 阅读全文
posted @ 2020-04-08 13:25 WindyQin 阅读(440) 评论(0) 推荐(1) 编辑
摘要: 通过创建 Secure Access Policies可以对vertica中的某一列数据进行加密: 例如: 如果表中存在策略的话,那么drop table 时会报错: 阅读全文
posted @ 2020-04-08 13:13 WindyQin 阅读(277) 评论(0) 推荐(0) 编辑
摘要: vertica中没有类似Oracle中的ws_concat函数功能,需要开发UDF,自己对C++不熟悉,所有只有想其他方法解决了。 上代码: 运行结果: select node_state,node_name,row_number() over (partition by node_state or 阅读全文
posted @ 2020-04-08 13:12 WindyQin 阅读(555) 评论(0) 推荐(0) 编辑
摘要: SQL Server、Oracle、MySQL和Vertica数据库常用函数对比 Vertica数据库是HP公司新收购的用于BI方面的数据库。 1. 绝对值 2. 向上取整 3. 向下取整 4. 取整(截取) 5. 四舍五入 6. e为底的幂 7. 取e为底的对数 8. 取10为底对数 9. 取平方 阅读全文
posted @ 2020-04-08 13:10 WindyQin 阅读(703) 评论(0) 推荐(0) 编辑