随笔分类 -  pentaho

摘要:saiku比较吃内存,一旦人多了,那么内存可能不够,所以会考虑主从结构,分担压力。为了保证数据的稳定性,也会有类似的考虑,那么问题来了,如何实现saiku的分布式搭建哪? 我阅读了一些国内的文章,没有发现类似的经验,自己摸索了一个方案,简单粗暴,可是能用,大家参考! 首先saiku使用的jackra 阅读全文
posted @ 2016-06-29 20:20 李秋 阅读(1216) 评论(0) 推荐(0) 编辑
摘要:一、介绍 使用saiku的人一定对他的元数据存储都特别感兴趣,特别是有分布式管理需求的项目,更是迫切需要了解。其实它是使用Apache的开源项目Jackrabbit管理文件的! 二、代码跟踪 我也是使用了一段时间,希望深入了解它的元数据存储,下面是代码跟踪: 2.1 ajax 首先还是从ajax入手 阅读全文
posted @ 2016-06-21 16:05 李秋 阅读(2411) 评论(3) 推荐(0) 编辑
摘要:使用saiku的人,肯定都有这么一个经历,查询了一次多维分析数据表,第二次之后就特别快,因为它缓存了结果,可问题是过了一天,甚至几天,来源数据早都更换了,可还是这个缓存结果。问题来了,缓存不失效! 那么如何解决这个问题呐?我总结了两个办法: 一、不使用缓存 这个方案修改起来特别简单:修改mandri 阅读全文
posted @ 2016-06-13 20:23 李秋 阅读(1650) 评论(0) 推荐(0) 编辑
摘要:使用了很久的saiku,决定跟踪一下代码,看看它的执行核心过程: 一、入口controller代码 1.1、页面打开之后,会发送一个ajax请求 Request URL: http://l-tdata2.tkt.cn6.qunar.com:8080/saiku/rest/saiku/api/quer 阅读全文
posted @ 2016-06-12 15:26 李秋 阅读(1727) 评论(0) 推荐(0) 编辑
摘要:经历了前两轮优化之后,saiku由不可使用,优化到可以使用,不过在分析大量日志数据的时候,还有顿卡的感觉!继续观察背后执行的Sql,决定将注意力关注到索引上面! 日志的主要使用场景是:固定日期维度的数据分析,也就是说where条件一定跟着日期等于某一天,那么纠结的是:每个字段都建立索引,还是和日期建 阅读全文
posted @ 2016-05-15 11:58 李秋 阅读(1311) 评论(0) 推荐(0) 编辑
摘要:上一篇文章介绍了添加filter可以加快查询速度。下面继续分析: 下面这个MDX语句: 查看数据查询语句,本琢磨这应该很快,执行一个sql即可 结果发现在这之前,还需要执行这条语句,且执行时间最长: 意淫原因应该是saiku对执行的结果进行format,所以才执行这条语句,而这个字段应该是维度表,所 阅读全文
posted @ 2016-04-18 17:49 李秋 阅读(638) 评论(0) 推荐(0) 编辑
摘要:使用saiku的过程中发现一个重要问题,速度慢!下面是跟踪和优化过程 一、首先抓包,发现ajax请求:http://l-tdata2.tkt.cn6.qunar.com:8080/saiku/rest/saiku/api/query/execute 里面的参数不少,下面是截屏 二、看日志:发现了md 阅读全文
posted @ 2016-04-15 17:21 李秋 阅读(1843) 评论(1) 推荐(0) 编辑
摘要:最近使用saiku,重新编译升级之后维护困难,下面讲解一下简单的办法: 1、备份saiku-server下面的data文件夹 2、备份saiku-server下面的repository文件夹 3、升级之后,回复这个文件夹即可 参考:http://wiki.meteorite.bi/display/S 阅读全文
posted @ 2016-03-10 17:54 李秋 阅读(701) 评论(0) 推荐(0) 编辑
摘要:经历了上几篇博客的分享,可以无密码登录 : http://www.cnblogs.com/liqiu/p/5246015.html 随着使用的深入,公司需要将现有的报表平台与saiku整合,其中最便捷的方法是嵌入iframe页面。那么就要求saiku的多维报表可以在单独页面直接打开(不含有上面的各种 阅读全文
posted @ 2016-03-08 11:14 李秋 阅读(1735) 评论(0) 推荐(0) 编辑
摘要:公司想要使用saiku,希望没有密码直接可以使用,这样可以直接以iframe的形式嵌套到其他的系统中。 在网上搜索了很多,大致类似这篇博客介绍的:http://www.cnblogs.com/avivaye/p/4877948.html 可是效果不能达到预期,没有办法只能修改代码重新编译。 先上结果 阅读全文
posted @ 2016-03-05 21:52 李秋 阅读(3034) 评论(0) 推荐(0) 编辑
摘要:saiku版本:3.7.4 下面是修改步骤,如果觉得麻烦,可以直接下载源代码:https://github.com/lihehuo/saiku 1、关闭自动执行 修改文件:saiku-ui/js/saiku/Settings.js,下面是git代码对比 ERROR_TOLERANCE: 3, QUE 阅读全文
posted @ 2016-03-05 14:36 李秋 阅读(3424) 评论(0) 推荐(0) 编辑
摘要:以前的文章介绍了如何直接安装saiku,http://www.cnblogs.com/liqiu/p/5183894.html 。这里面偷懒没有源代码编译,不过这几天也就这么用了。 最近随着使用的深入,不仅仅修改修改页面那么简单,所以需要源代码编译!下面介绍一下编译过程: 一、下载:首先github 阅读全文
posted @ 2016-03-04 20:43 李秋 阅读(3019) 评论(1) 推荐(0) 编辑
摘要:1、简介 前几篇博客已经介绍了saiku、mondrian、MDX和模式文件他们之间的关系,那么如何将它们串联起来,供产品人员使用哪?下面咱们一步一步的实现 2、建立数据表 建表语句参考:http://www.cnblogs.com/liqiu/p/5202708.html 模式图如下: 这是一个典 阅读全文
posted @ 2016-02-21 22:03 李秋 阅读(4088) 评论(0) 推荐(1) 编辑
摘要:1、前言 前面几篇文章一经介绍过saiku、模式文件和MDX的关系。通俗点说模式文件(Schema)就是一个xml,里面定义了一个虚拟立方体,共MDX查询语言使用。 2、模式文件 Schema 最顶层 Cube 立方体,以事实表为中心,围绕若干维度表 Table 事实表 Dimension 维度 H 阅读全文
posted @ 2016-02-21 16:47 李秋 阅读(2609) 评论(0) 推荐(0) 编辑
摘要:以前介绍了几个基本工具:saiku 和 Schema Workbench,算是入门级别的了解多维报表,如果要继续深入,需要深入了解如下几个概念: 1、OLAP 联机分析处理,和他对应的是OLTP(联机事务处理)。 OLTP:做为一个开发人员,OLTP是最常用的,甚至都不需要理解这个概念!比如各种门票 阅读全文
posted @ 2016-02-20 14:15 李秋 阅读(3953) 评论(1) 推荐(1) 编辑
摘要:一、前言 安装了saiku之后,每次修改schema文件,非常耗时,每次都要经历若干步骤:修改xml、上传、重启才能生效,并且非常不利于学习和理解MDX和模式文件,踌躇之际,发现了这个工具,十分小巧方便!saiku安装过程可参考上一篇博客:http://www.cnblogs.com/liqiu/p 阅读全文
posted @ 2016-02-20 09:34 李秋 阅读(7899) 评论(5) 推荐(2) 编辑
摘要:公司希望也开发一套多维分析系统,以解决运营/产品无休止的需求和技术人力不足的矛盾! 一、开发选型: 一、BIRT:易用性差,所以没再使用 二、JasperReport+ireport:文档收费,不支持ETL工具 三、Pentaho:在中国比较普及,文档多,报表是其中的一部分,比如数据同步和ETL也都 阅读全文
posted @ 2016-02-06 10:19 李秋 阅读(12909) 评论(11) 推荐(1) 编辑