摘要:Spark is a compelling multi-purpose platform for use cases that span investigative, as well as operational, analytics.Data science is a broad church. ...
阅读全文
摘要:计算机领域有句话:“计算机的任何问题都可以通过增加一个虚拟层来解决”。另言之:"All problems in computer science can be solved by another level of indirection"。其主要思想是将调用者和被调者隔离开,既屏蔽细节,又提高了灵活...
阅读全文
摘要:叶亚明(Eric Ye),携程首席架构师,负责移动、Web、呼叫中心等部门的研发工作,领导开发的业务和领域包括酒店、机票、商务旅游、开放API、全球站、用户体验研究。他从过去十年的电子商务变革中,总结出六种有效的编程模型,目前被广泛应用于携程内部的产品研发过程中。此外,他还致力于升级携程网架构并创建...
阅读全文
摘要:搜狗高可用、高性能、可扩展商业平台设计_infoQ地址:http://www.infoq.com/cn/presentations/availability-performance-scalable-business-platform-design原文地址:http://www.infoq.com/...
阅读全文
摘要:Stackoverflow用的是.net开发的,用的缓存是Redis,Stackoverflow架构的演讲地址是:http://www.infoq.com/cn/presentations/architecture-of-stackoverflow?utm_source=infoq&utm_medi...
阅读全文
摘要:视频地址:http://www.infoq.com/presentations/RESTful-SOA-DDD作者的一个DDD采访:http://www.informit.com/articles/article.aspx?p=2023702
阅读全文
摘要:淘宝海量数据产品的技术架构是什么,又是如何应对双十一的海量访问的?先看图: 按照数据的流向来划分,我们把淘宝数据产品的技术架构分为五层(如图1所示),分别是数据源、计算层、存储层、查询层和产品层。位于架构顶端的是我们的数据来源层,这里有淘宝主站的用户、店铺、商品和交易等数据库,还有用户的浏览、搜索等行为日志等。这一系列的数据是数据产品最原始的生命力所在。 在数据源层实时产生的数据,通...
阅读全文
摘要:OSGi模块化框架是很早就出来的一个插件化框架,最早Eclipse用它而出名,但这些年也没有大热虽然OSGi已经发布了版本1到版本5。现在用的最多的,也是本文讲述基于的是Equinox的OSGi实现,同时也是Eclipse核心,Spring Dynamic Module也是基于Equinox。OSGi框架为java系统提供了一个通用的容器,该系统中的 bundle,无需停止系统,即可实现 bund...
阅读全文
摘要:用Java的大网站很多(LinkedIn,淘宝),当然用LAMP(PHP+MySQL)的更多(Facebook是把PHP转成C++编译的,也算),用ASP.NET也有一些(如Stackoverflow,CSDN,京东)。其实高并发的大网站架构和具体的语言没有啥大关系。针对高可用、可扩展的、高可伸缩性的、异步、解耦、面向服务的、分而治之的架构设计才是关键。操作层面来说,分布式文件系统、异步消息系统、分布式缓存系统、数据库的水平垂直分割分库分区分表甚至NoSql、反向代理、CDN、负载均衡设计、高可靠性异步消息队列,Hadoop,等等,这些都是和语言没有关系的,统称“分布式系统架构”。当然,语言和
阅读全文
摘要:领域驱动设计(DDD)在微软平台上的N层架构,看图(点击看大图): 源码下载请点击此处。
阅读全文
摘要:UseCase用例是什么?看一下官方定义:用例定义了一组用例示例,其中每个示例都是系统所执行的一系列操作。看个UML的用例图: 其他的内容大家都可以网上去找资料,关于use case的内容,我这里只想...
阅读全文
摘要:很多团队都在学习、研究 Quora 。前段时间看到这篇 Quora's Technology Examined ,阐述了 Quora 的技术架构,有一些值得关注的信息,记录并分享一下。使用云计算服务Quora 大量使用 Amazon EC2 与 S3 服务;操作系统部署的是 Ubuntu Linux,易于部署和管理;静态内容用 Cloudfront.服务分发,图片先传到 EC2 服务器,使用 Pyhon S3 API 处理后后传到 S3。从开始就使用云计算服务的的好处是节省了大量人工维护硬件服务器的成本,当然这个做法在咱这片土地上不太可行。Web 层与 CMS HAProxy 作为前端
阅读全文
摘要:架构师不是那么好当的,架构设计首先最重要的一点是搞清楚需求,深刻理解业务,做业务和技术的桥梁,因为架构设计的最终目的是满足需求,为客户所用。我有以下一些心得:简单,不过度设计:架构设计需要设计模式,用成熟的设计模式来解决架构问题,但不要滥用而导致过度设计。 重视缓存,消息队列:架构设计当中要给以缓存足够的重视,而异步消息队列系统对分布式系统提高系统吞吐能力非常重要。框架的选择:选择成熟的很多人使用...
阅读全文
摘要:Twitter 的运维专家 John Adams 在 Velocity 2009 上做了一篇题为 Fixing Twitter 的技术分享(点击下载pdf文件《Fixing Twitter》 ),人家也是一直在努力阿。John Adams 在 2008 年七月加入的 Twitter ,对于 Twitter 的站点稳定的确做了不少工作。看完这个接近 50 页的 PDF ,除了满足我们一小部分技术窥探...
阅读全文
摘要:这篇文章中总结了一些构建可伸缩性系统的最佳实践,总结的不错,于是翻译了下,原文在此:http://akfpartners.com/techblog/2009/08/11/scalability-best-practices/,翻译内容如下:下面是我们认为的一些可伸缩性的最佳实践: 异步;尽可能的使用异步,同步调用会导致两个服务的可用性绑在一起,意味着一个服务出问题或变慢,另一个也会受到影响,这点也...
阅读全文
摘要:Social Game的技术挑战View more presentations from Robbin Fan.或许您对以下文章有兴趣: Fixing Twitter - 提高世界上最流行的微博客系统性能和可扩展性 DAL - 手机之家的数据访问层实践 与冯大辉谈数据库架构(InfoQ) 大型网站系统架构分析 CTO谈豆瓣网和校内网技术架构变迁 程序员办网站创业,几个问题你想好了吗? SQLSer...
阅读全文
摘要:冯大辉,是支付宝网络中国科技有限公司的DBA。现在主要是负责支付宝相关的数据库架构的工作,在工作之余,我也比较关注Web2.0的一些发展情况,会在BLOG上写一些架构相关的文章,和大家分享,BLOG的...
阅读全文
摘要:手机之家的数据访问层实践View more presentations from xcq.或许您对以下文章有兴趣: 开心农场的架构 Fixing Twitter - 提高世界上最流行的微博客系统性能和可扩展性 CTO谈豆瓣网和校内网技术架构变迁 大型网站系统架构分析 与冯大辉谈数据库架构(InfoQ) 程序员办网站创业,几个问题你想好了吗? SQLServer索引调优实践 SQLServer索引调...
阅读全文
摘要:豆瓣网CTO洪强宁讲述网站架构变迁 罗马不是一天建成的,豆瓣的技术架构也是随着用户规模的增长一直在持续变化中。洪强宁,2002年毕业于清华大学,现任北京豆瓣互动科技有限公司首席架构师。洪强宁和他带领...
阅读全文
摘要:大型网站往往使用Squid前端缓存服务器群,memcache分布式缓存,负载均衡,CDN等来提升性能。但中小型网站使用这些大家伙就有杀鸡用牛刀的感觉,但毋庸置疑,缓存是需要的,开发者开发程序的时候若没有并发思维,一味注重业务逻辑,往往导致并发用户可能在差不多相同的时间请求相同的数据,网站再请求数据库,如果使用缓存,对这种相同的请求,或者不变的数据,可以缓存起来,直接从内存读取,可以大大提升并发访问的性能,减少数据库访问次数。
阅读全文