摘要：
淘宝网拥有国内最具商业价值的海量数据。截至当前，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命。 为此，我们进行了一系列数据产品的研发，比如为大家所熟知的量子统计、数据魔方和淘宝指数等。尽管从业务层面来讲，数据产品的研发难度并不高；但在 “海量”的限定下，数据产品的计算、存储和检索难度陡然上升。本文将以数据魔方为例，向大家介绍淘宝在海量数据产品技术架构方面的探索。 淘宝海量数据产品技术架构 数据产品的一个最大特点是... 阅读全文
摘要：
为什么需要独立图片服务器？ 如果你留心的话，可以发现，现在主流的网站都是有单独的图片服务器的，例如，人人网的为rrimg，淘宝的为taobaocdn，下面还有很多的二级域名。 独立的图片服务器有诸多好处，其中一个就是客户端浏览器对一个主机下的连接数量限制，具体的连接数目忘记了，但基本都在10以下。也就是说，浏览器会控制一个站点下的并发请求数量在10以下，如果对于网站有很多样式文件、脚本文件和图片需要加载的话，请求的过程会被阻塞，影响网站的打开速度。 建立图片服务器，将图片资源放在另外一个域名下面，会在一定程度上提升网站的打开速度，这样来说的话是不是说我们独立的服务器越多越好呢？也不尽... 阅读全文
摘要：
一：硬架构 1：机房的选择： 在选择机房的时候，根据网站用户的地域分布，可以选择网通或电信机房，但更多时候，可能双线机 房才是合适的。越大的城市，机房价格越贵，从成本的角 度看可以在一些中小城市托管服务器，比如说北京的公司可以考虑把服务器托管在天津，廊坊等地，不是特别远，但是价格会便宜很多。 2：带宽的大小： 通常老板花钱请我们架构网站的时候，会给我们提出一些目标，诸如网站每天要能承受100万PV的访问量等等。这时我们要预算一下大概需要多大的带宽，计算带宽大小主要涉及两个指标（峰值流量和页面大小），我们不妨在计算前先做出必要的假设： 第一：假设峰值流量是平均流量的5倍。 第二：假设... 阅读全文
摘要：
数据库水平切分的实现原理解析－－－分库，分表，主从，集群，负载均衡器博客分类：网站架构iBATISMySQL应用服务器框架互联网第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的 互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层 已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台 机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据 阅读全文
摘要：
1、复制概述1.1、复制解决的问题数据复制技术有以下一些特点：(1) 数据分布(2) 负载平衡(load balancing)(3) 备份(4) 高可用性(high availability)和容错1.2、复制如何工作从高层来看，复制分成三步：(1) master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）；(2) slave将master的binary log events拷贝到它的中继日志(relay log)；(3) slave重做中继日志中的事件，将改变反映它自己的数据。下图描述了这一过程：该过程的第一部分就是mas 阅读全文