打赏
上一页 1 ··· 24 25 26 27 28 29 30 31 32 ··· 180 下一页
摘要: 不多说,直接上干货! Kudu的性能测试 1. kudu和parquet的比较 上图是官方给出的用Impala跑TPC-H的测试,对比Parquet和Kudu的计算速度。从图中我们可以发现,Kudu的速度和parquet的速度差距不大,甚至有些Query比parquet还快。然而,由于这些数据都是在 阅读全文
posted @ 2017-09-28 16:39 大数据和AI躺过的坑 阅读(8545) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! Kudu的架构 1、kudu的 基本框架 Kudu 是用于存储结构化( structured )的表( Table )。表有预定义的带类型的列( Columns ),每张表有一个主键( primary key )。主键带有唯一性( uniqueness )限制,可作为索引用来支 阅读全文
posted @ 2017-09-28 16:37 大数据和AI躺过的坑 阅读(3560) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! Kudu和HBase定位的区别 Kudu 的定位是提供 “ast analytics on fast data” ,也就是在快速更新的数据上进行快速的查询。它定位 OLAP 和少量的 OLTP 工作流。 如果有大量的 random accesses ,官方建议还是使用 HBas 阅读全文
posted @ 2017-09-28 16:34 大数据和AI躺过的坑 阅读(3428) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! 那既然有了HBase,为什么还需要Kudu呢? 简单的说,就是嫌弃HBase在OLAP(联机分析处理)场合,SQL/MR类的批量检索场景中,性能不够好。通常这种海量数据OLAP场景,要不走预处理的路,比如像EBAY麒麟这样走Cube管理的,或者像谷歌Mesa这样按业务需求走预定 阅读全文
posted @ 2017-09-28 16:24 大数据和AI躺过的坑 阅读(2023) 评论(0) 推荐(1) 编辑
摘要: 不多说,直接上干货! Cloudera Kudu是什么? kudu是cloudera在2012开始秘密研发的一款介于hdfs和hbase之间的高速分布式列式存储数据库。兼具了hbase的实时性、hdfs的高吞吐,以及传统数据库的sql支持。作为一款实时、离线之间的存储系统。定位和spark在计算系统 阅读全文
posted @ 2017-09-28 15:43 大数据和AI躺过的坑 阅读(2393) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! DateDistance.java 当然,我们可以进一步,将其放到一个时间的工具类去。 java编程如何实现多条2017-08-08 22:10:00.0这样的时间数据,相差多少天?(隔24小时为相差1天,否则为0天) java编程如何实现多条2017-01-16 22:28: 阅读全文
posted @ 2017-09-28 11:02 大数据和AI躺过的坑 阅读(11450) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! 在前面的博文里,我已经介绍了 大数据入门基础系列之Linux操作系统简介与选择 大数据入门基础系列之虚拟机的下载、安装详解 大数据入门基础系列之Linux的安装详解 大数据入门基础系列之远程连接工具下载和安装详解 大数据入门基础系列之Apache版本的hadoop集群详细部署搭 阅读全文
posted @ 2017-09-27 23:18 大数据和AI躺过的坑 阅读(3269) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! 获取文件名称、获取文件路径、获取文件大小、获取文件修改时间 FileMethodDemo.java 创建与删除 FileMethodDemo.java 判断 FileMethodDemo.java 重命名 FileMethodDemo.java 系统根目录 FileMethod 阅读全文
posted @ 2017-09-23 12:21 大数据和AI躺过的坑 阅读(4138) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! CopyTextByBufTest.java 阅读全文
posted @ 2017-09-23 09:15 大数据和AI躺过的坑 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 不多说,直接上干货! 把提高效率的动作,封装成一个对象。即把缓冲区封装成一个对象。 就是在一个类里封装一个数组,能对流锁操作数据进行缓存。 什么是字符流缓冲区? 善于使用字符流缓冲区,减轻负担,提高下效率。 其实啊,无非是将源中数据,存储到自定义数组里,进行缓存。并对数组操作,从而提高效率。 即Bu 阅读全文
posted @ 2017-09-22 23:50 大数据和AI躺过的坑 阅读(1097) 评论(0) 推荐(0) 编辑
上一页 1 ··· 24 25 26 27 28 29 30 31 32 ··· 180 下一页