摘要：
随着信息化建设的不断深入，企业级的信息管理平台已经完成了从信息化建设到数据积累的职能转变，在一些信息化起步较早、系统建设较规范的行业，如通信、金融、大型生产制造等领域，海量数据的存储、分析需求的迫切性日益明显。以移动通信运营商为例，随着移动业务和用户规模的不断扩大，每天都产生海量的业务、计费以及网管数据，然而庞大的数据量使得传统的数据库存储已经无法满足存储和分析需求。主要面临的问题包括：数据库容量有限：关系型数据库并不是为海量数据而设计，设计之初并没有考虑到数据量能够庞大到PB级。为了继续支撑系统，不得不进行服务器升级和扩容，成本高昂，难以接受。并行取数困难：除了分区表可以并行取数外，其它情况 阅读全文
摘要：
Yonghong Z-Suite 除了提供优秀的前端BI工具之外，Yonghong Z-Suite让用户可以选购分布式数据集市来支持实时大数据分析。 对于这种百亿级的大数据案例，Yonghong Z-Suite有哪些技术可以保证大数据的实时响应呢？下面大致从技术上介绍下：库内计算(In-Database Computing) Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。得益于库内计算技术，Z-Suite数据分析引擎将找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，称之为库内计算(In-Database)。这一技术大大减少了数据移动，降 阅读全文
摘要：
HiveDB是一个用来横向切分mysql数据库的开源框架，构建一个高性能和可扩展的基于mysql的系统需要大量的系统设计经验和良好的代码的实现，一个比较好的策略是将你的数据横向切分在多个server上，HiveDB就是个不错的选择，它的发展情况和特点如下：1. HiveDB是在2007年5月"Bay Area Community Meetup"首次出现，底层基于Hibernate shards基础实现。Hibernate shards 则是 Google 的开发工程师在"20%工作时间可以干别的有兴趣事情"环境下开发出来的一个 Hibernate ext 阅读全文
摘要：
前言：年前，在老大的号召下，我们纠集了一帮人搞起了hadoop，并为其取了个响亮的口号“云在手，跟我走”。大家几乎从零开始，中途不知遇到多少问题，但终 于在回家之前搭起了一个拥有12台服务器的集群，并用命令行在该集群上运行了一些简单的mapreduce程序。想借此总结我们的工作过程。安装过程：一、安装Linux操作系统二、在Ubuntu下创建hadoop用户组和用户三、在Ubuntu下安装JDK四、修改机器名五、安装ssh服务六、建立ssh无密码登录本机七、安装hadoop八、在单机上运行hadoop一、安装Linux操作系统我们是在windows中安装linux系统的，选择的是ubuntu1 阅读全文
摘要：
第1章引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层 已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台 机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；通过读写分离策略更是最大限度了提高了应用中读取 （Read）数据的速度和并发量。目前国内的大型互联网应用中，大量 阅读全文
摘要：
大家平时都在用这个服务框架。简单阅读了下代码，了解其原理可以方便解决一些常见hsf的问题。限于篇幅，整个分析将分几个系列发布。第一篇将简单介绍Hsf的启动和各组件之间关系。一. Hsf总体架构这个图很经典，想必大家都了解，Consumer，Provider，中间通过ConfigServer联接。那么其内部是如何实现的呢？请看下文。二. 容器启动，jboss为例HSF使用基于equinox(OSGi框架的eclipse实现,http://www.eclipse.org/equinox/)的OSGi，启动流程1./opt/xxxx/jboss/server/default/conf/xmdesc/ 阅读全文
摘要：
淘宝HSF服务具体来说分三个应用：api接口，service服务，本地应用。 最基本的Api服务应该是十分干净的，不含方法，只有接口。它是要被打包(jar包的形式)到中央仓库去的。 service服务是api接口的实现，它是要被打包成（最常见的是war包）安装到远程tomcat，或jboss中，作为服务要随时等待各种应用的调用的。 本地应用自然是各种应用了。 接口部分的pom文件： 4.0.0 com.taobao.hsftest itest 1.0.0.SNAPSHOT 接口： package com.taobao.itest; public inte... 阅读全文
摘要：
http://www.360doc.com/content/13/1114/11/10504424_329109113.shtml 阅读全文
摘要：
首先，NAS(Network Attached Storage，网络附加存储)全面改进了以前低效的DAS存储方式，它是采用独立于PC服务器，单独为网络数据存储而开发的一种文件服务器。 NAS服务器中集中连接了所有的网络数据存储设备(如各种磁盘阵列、磁带、光盘机等)，存储容量可以较好地扩展，同时由于这种网络存储方式是NAS服务器独立承担的，所以，对原来的网络服务器性能基本上没什么影响，以确保整个网络性能不受影响。它提供了一个简单、高性价比、高可用性、高扩展性和低总拥有成本的网络存储解决方案。 其次，DAS(Direct Attached Storage，直接外挂存储)是存储方式的一种方案。这种. 阅读全文
摘要：
NAS是Network-Attached Storage的简称。中文一般称为“网络附加存储”，或者“网络连接存储”。但是再爱国的业内人士也不喜欢叫这个中文名，就像乡下阿伯也不喜欢把NBA叫做“国家篮球联盟”一样。我们可以顾名思义的把NAS理解成通过网络提供存储的设备。比如你在装了Linux的电脑上共享一个目录，让其他Linux客户能够通过NFS协议访问该目录，那这台电脑就是一定意义上的NAS。如果你在这台电脑上装些软件，让Windows用户(通过CIFS)和Linux用户(通过NFS)都能访问这台电脑上的共享目录，那这台电脑就成了完全意义的NAS。一般NAS支持CIFS和NFS等协议，有些甚至 阅读全文