随笔分类 - 系统架构
摘要：如何从HBase中的海量数据中，以很快的速度的获取大批量数据，这一议题已经在《HBase 高性能获取数据》（http://www.cnblogs.com/wgp13x/p/4245182.html）一文中给出了解决办法。那么，如何向HBase中高性能的插入数据呢？经研究表明，光是批量写入也还是不行。网上没有现成的方法。本文针对这一问题，给出了一个解决方案。它采用了多线程按批“多粮仓”的方式，经过验证，能较好的达到高速度的效果。
阅读全文
摘要：在前篇博客里已经讲述了通过一个自定义 HBase Filter来获取数据的办法，在末尾指出此办法的性能是不能满足应用要求的，很显然对于如此成熟的HBase来说，高性能获取数据应该不是问题。下面首先简单介绍了搜索引擎的性能，然后详细说明了HBase与MySQL的性能对比，这里的数据都是经过实际的测试获得的。最后，给出了采用多线程批量从HBase中取数据的方案，此方案经过测试要比通过自定义Filter的方式性能高出很多。
阅读全文
摘要：大家在使用HBase和Solr搭建系统中经常遇到的一个问题就是：“我通过SOLR得到了RowKeys后，该怎样去HBase上取数据”。使用现有的Filter性能差劲，网上也没有现成的解决方案，我在这里把这个问题的自定义Filter的解决办法分享给大家，抛砖引玉一下。
阅读全文
摘要：各式结构化数据的动态接入存储查询，这一需求相信有很多人都遇到过，随着实现技术路线选择的不同，遇到的问题出入大了，其解决办法也是大相径庭。数据存储在哪儿，是关系型数据库，还是NoSQL数据库，是MySQL还是Oracle，怎么建立索引，建立什么类型的索引，都是大学问。下面，我要把我对这一解决办法的思考总结一下，有成熟的也有不成熟的，希望大家一起共同探讨。
阅读全文
摘要：各式结构化数据的动态接入存储查询，这一需求相信有很多人都遇到过，随着实现技术路线选择的不同，遇到的问题出入大了，其解决办法也是大相径庭。数据存储在哪儿，是关系型数据库，还是NoSQL数据库，是MySQL还是Oracle，怎么建立索引，建立什么类型的索引，都是大学问。下面，我要把我对这一解决办法的思考总结一下，有成熟的也有不成熟的，希望大家一起共同探讨。
阅读全文
摘要：HBase可以通过协处理器Coprocessor的方式向Solr发出请求，Solr对于接收到的数据可以做相关的同步：增、删、改索引的操作，这样就可以同时使用HBase存储量大和Solr检索性能高的优点了，更何况HBase和Solr都可以集群。这对海量数据存储、检索提供了一种方式，将存储与索引放在不同的机器上，是大数据架构的必须品。
阅读全文
摘要：Hessian经常作为服务内部RPC远程过程调用工具工具来使用，速度快效率高。重构代码的核心思想就是把共用的代码段提出来，使代码结构优化；架构设计类似，把基本的共用的服务提出来，使架构优化。下面讲述一下我在具体应用中使用Spring3.2.4在Tomcat7.0.47下发布Hessian4.0.37服务的过程。
阅读全文
摘要：项目中对关系型数据库的接入再寻常不过，也有海量的ORM工具可供选择，一个一般性的DAL数据接入层的结构却大同小异，这里就分享一下使用Hibernate、Spring、Hessian这三大工具对DAL层的具体实现方法，也是对之前使用的一个总结。
阅读全文
摘要：在数据库中创建存储过程，提供给服务层调用，服务层简洁明了。如何在Oracle中一步步创建存储过程，如何实现存储过程，如何在C++中调用存储过程，如文中总结。
阅读全文
摘要：我们在项目里经常要涉及到各模块间的通信，这其中又不可避免要碰到各类语言间之间的通信，比如之前做的一个项目里面就是Java发的消息需要C#接收，都是面向对象的语言，而面向对象的消息怎么反解析到C#是个难题。下面就是使用Json密器让Java和C#沟通的具体办法的总结。
阅读全文
摘要：本人找了好久也没在网上找到一份完整的讲Tomcat 7、Axic2发布带用户认证的WebService、C#客户端调用这个服务的配置步骤，一般都是讲java客户端调用。本文即是对这一过程完成后的一个总结，详细的一步步的教你怎么使用证书，在服务端发布带用户认证的服务，在C#客户端使用这一服务。
阅读全文
摘要：本篇是本人在做一个大数据项目时，对于系统架构的一点总结，如何在保证存储量的情况下，又能保证数据的检索速度。
阅读全文
摘要：本篇是本人在Solr的基础上，配置了中文分词器，并对其进行的性能测试总结，具体包括使用mmseg4j、IKAnalyzer、Ansj，分别从创建索引效果、创建索引性能、数据搜索效率等方面进行衡量。具体的Solr使用方法假设读者已有了基础，关于Solr的性能指标见前期的Solr博文。
阅读全文
摘要：本篇是本人对Solr的使用进行的总结，具体包括使用DataImportHandler从数据库中近实时同步数据、测试Solr创建索引的性能、以及测试Solr的搜索效率等。
具体的搜索引擎概念、Solr搭建方法、数据库mysql使用方法，假设读者已有了基础。
阅读全文
摘要：本篇是本人对RabbitMQ使用的关键性问题进行的总结，如性能上限、数据存储、集群等，
具体的RabbitMQ概念、安装、使用方法、SpringAMQP配置，假设读者已有了基础。
阅读全文