摘要: 淘宝数据魔方技术架构解析作者: baiyuzhong淘宝网拥有国内最具商业价值的海量数据。截至当前,每天有超过30亿的店铺、商品浏览记录,10亿在线商品数,上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值,进而帮助淘宝、商家进行企业的数据化运营,帮助消费者进行理性的购物决策,是淘宝数据平台与产品部的使命。为此,我们进行了一系列数据产品的研发,比如为大家所熟知的量子统计、数据魔方和淘宝指数等。尽管从业务层面来讲,数据产品的研发难度并不高;但在“海量”的限定下,数据产品的计算、存储和检索难度陡然上升。本文将以数据魔方为例,向大家介绍淘宝在海量数据产品技术架构方面的探索。淘宝海量数 阅读全文
posted @ 2012-02-06 13:03 萧风的风 阅读(234) 评论(0) 推荐(0) 编辑
摘要: 使用 python 开发 Web Service文档选项打印本页级别: 中级刘 明(ovis_poly@sina.com), 软件工程师, 上海交通大学电子与通信工程系陈 华泉(chenhuaquan@21cn.com), 软件工程师, 上海交通大学软件工程学院2008 年 2 月 28 日Python 是一种强大的面向对象脚本语言,用 python 开发应用程序往往十分快捷,非常适用于开发时间要求苛刻的原型产品。使用 python 开发 web service 同样有语言本身的简捷高速的特点,能使您快速地提供新的网络服务,从而适应快速发展的网络商业环境。本文将用实例一步步描述如何用 Pyth 阅读全文
posted @ 2012-02-06 13:02 萧风的风 阅读(467) 评论(0) 推荐(0) 编辑
摘要: 本文是2008年04月13日写的,距离现在已经有很多年了,一些版本链接,可能还得大家看情况更新,不行就Google搜一下吧。 所谓工欲善其事,必先利其器。Python开发有很多工具,其中Eclipse+Pydev就是其中一种。尽管python@newsmth的置底文章对这对组合评价不高,但在pipi的坚持和推荐下,我还是选择了这对组合。反正都没有用过,我正好尝尝鲜。非常感谢Pipi,本文得到了Pipi同学的大力支持。下面将开发环境的安装配置过程写下来,供后来者参考。一、安装Eclipse SDK。到http://download.eclipse.org/eclipse/downloads/找S 阅读全文
posted @ 2012-02-06 13:01 萧风的风 阅读(239) 评论(0) 推荐(0) 编辑
摘要: |发表评论阅读评论又拍网是一个照片分享社区,从2005年6月至今积累了260万用户,1.1亿张照片,目前的日访问量为200多万。5年的发展历程里经历过许多起伏,也积累了一些经验,在这篇文章会介绍一些在技术上的积累。又拍网和大多数Web2.0站点一样,构建于大量开源软件之上,包括MySQL、PHP、nginx、Python、memcached、redis、Solr、Hadoop和RabbitMQ等等。又拍网的服务器端开发语言主要是PHP和Python,其中PHP用于编写Web逻辑(通过HTTP和用户直接打交道), 而Python则主要用于开发内部服务和后台任务。在客户端则使用了大量的Javasc 阅读全文
posted @ 2012-02-06 13:00 萧风的风 阅读(201) 评论(0) 推荐(0) 编辑