摘要： Impala介绍Impala支持的文件格式Impala可以对Hadoop中大多数格式的文件进行查询。它能通过create table和insert的方式将一部分格式的数据加载到table中，但值得注意的是，有一些格式的数据它是无法写入的（write to）。对于Impala无法写入的数据格式，我们只... 阅读全文

摘要： 由于hive把元数据存储在mysql中，需要定期对mysql中hive用到的库进行备份，写了脚本如下。支持的功能：1、备份指定的mysql数据库；2、批量备份mysql中所有的数据库（默认关闭）；3、将备份的文件压缩后存储；4、将备份文件传输到指定ftp服务器上备份（默认关闭）；5、定期删除n天之前... 阅读全文

摘要： Impala1.2.4安装手册安装前说明：1、 安全性考虑，我们使用hive用到的账户cup进行impala的启停等操作，而不另外使用impala账户；这涉及到后文中的一些文件夹权限调整、配置文件中的用户参数调整；2、 性能考虑，impala-state-store、impala-catalog这两... 阅读全文

摘要： 在数据库建模中会用到Powerdesigner软件进行表结构的设计，有时候我们需要将Excel里面的表结构导入到Powerdesigner中生成模型文件，或者将Powerdesigner中已有的模型导出生成Excel文档；我们可以通过Powerdesigner的脚本定制功能，来实现Excel的导入导出。 Excel导入Powerdesigner生成模型的vbscript脚本：'******************************************************************************'开始Option ExplicitDim ta 阅读全文

摘要： 背景：某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的HBase多条件查询方案进行测试和验证。原理：基于Solr的HBase多条件查询原理很简单，将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引，通过Solr的多条件查询快速获得符合过滤条件的rowkey值，拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。测试环境：solr 4. 阅读全文

摘要： 公司是在windows servers 2008上用eclipse进行开发，hadoop集群也是由多台linux服务器组成的真实集群。由于我要开发的程序涉及到hadoop、hbase、solr，理所当然的引入了相关的核心jar包到工程里面，代码也没显示任何异常。但是在运行代码的时候却报了各种错误，之前在自己电脑虚拟机上开发mapreduce程序是没有问题的，现将解决方法记录一下。异常1：Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your co 阅读全文

摘要： 在将某个分区表删掉并重建之后发现一个问题，就是现在新建分区之后，自动创建的子分区格式与以前不同。以前正常情况下自动生成的子分区格式如下：重建表之后自动生成的子分区格式如下：我们可以通过修改表属性更改子分区模板，解决此问题：alter table TEST set subpartition template (subpartition SP_00 values (0),subpartition SP_01 values (1),subpartition SP_02 values (2),subpartition SP_03 values (3),subpartition SP_04 values 阅读全文

摘要： 原来的windows server 2008 中已经安装了IIS，并且部署在上面的.net网站是可以正常访问的，但是在我卸载掉IIS角色并重新安装IIS之后，访问.net应用程序的时候页面报错：HTTP Error 500.21 - Internal Server Error，错误页面如下所示： 通过分析得知，我们若是先安装.NET Framework 4.0再安装IIS角色就可能遇到上述的错误，原因在于 IIS 角色在启用时并未更新现有的应用程序以使用ASP.NET 4 版本的应用程序集，以及在 IIS Metabase 中未更新传统模式及IIS整合模式下ASP.NET 4的处理方式与... 阅读全文

摘要： 执行某存储过程出现以下错误信息： ORA-00600: internal error code, arguments: [32695], [hash aggregation can't be done], [], [], [], [], [], []此存储过程操作大量的数据，网络上的这篇文章解释了这个故障： http://space6212.itpub.net/post/12157/399059根据以上博文内容，我在自己的存储过程起始位置添加以下内容后，问题解决：EXECUTE IMMEDIATE 'alter session set "_gby_hash_aggre 阅读全文

摘要： 执行某个存储过程时报错：ORA-01031: insufficient privileges。 调试存储过程，发现在存储过程运行到创建表的这一步时出错，意即没有权限创建表，但实际上执行这个存储过程的用户是有创建表的权限的，在网上查找同样的错误信息，发现基本上都是登陆数据库的时候报这个错误，并没有执行存储过程中报这个错误的案例。 请教同事之后得到解决方法，在存储过程中添加如下内容即可：Authid Current_User，修改后的存储过程结构如下：CREATE OR REPLACE PROCEDURE P_RES_F_UD_FLOW(TIME_DAY IN NUMBER) Authid C.. 阅读全文