摘要:
【视图02】 在top基本视图中,按键盘数字1,可监控每个逻辑CPU的状况,因为我的主机只有一个逻辑CPU,所以只能看到Cpu0的信息: 【视图03】 按键盘b,打开或关闭x,y模式的高亮显示 【视图04】 按键盘x,打开/关闭高亮显示排序列 【视图05】 按键盘< 或 > ,左右改变排序列 【视图 阅读全文
摘要:
2015-04-14 分布式系统架构知识 本文重点推荐Codis——豌豆荚开源的Redis分布式中间件(该项目于4个月前在GitHub开源,目前star已超过2100)。其和Twemproxy相比,有诸多激动人心的新特性,并支持从Twemproxy无缝迁移至Codis。 本文主要目录如下,对Redi 阅读全文
摘要:
2015-01-06 架构师之旅 总的来说有两种持久化方案:RDB和AOF RDB方式按照一定的时间间隔对数据集创建基于时间点的快照。 AOF方式记录Server收到的写操作到日志文件,在Server重启时通过回放这些写操作来重建数据集。该方式类似于MySQL中基于语句格式的binlog。当日志变大 阅读全文
摘要:
2015-01-13 架构师之旅 1. 事务处理和并发性 1.1. 基础知识和相关概念 1 )全部的表类型都可以使用锁,但是只有 InnoDB 和 BDB 才有内置的事务功能。 2 )使用 begin 开始事务,使用 commit 结束事务,中间可以使用 rollback 回滚事务。 3 )在默认情 阅读全文
摘要:
2015-01-20 架构师之旅 MySQL是一个功能强大的开源数据库。随着越来越多的数据库驱动的应用程序,人们一直在推动MySQL发展到它的极限。这里是101条调节和优化MySQL安装的技巧。一些技巧是针对特定的安装环境的,但这些思路是通用的。我已经把他们分成几类,来帮助你掌握更多MySQL的调节 阅读全文
摘要:
2016-06-17 BAIDU 架构师之旅 id分配是社区类产品的提交环节中必不可少的一步。任何UGC类内容产生时往往需要分配一个对应的id。 id分配的几种方式 方式一:单点自增分配。全局由一个模块来负责生成id,可保证id从0开始连续递增,数据一般放在本地文件。简洁,但致命的问题是单点故障会导 阅读全文
摘要:
2016-06-21 标点符 架构师之旅 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子 阅读全文
摘要:
2015-07-13 架构师联盟 文档处理在开发中是一个非常常见的任务了,例如导出Excel,导出Word,生成PDF报表等等。那今天就看看下面这些.NET开源项目你知道不?如果有用,千万不要忘记推荐哦。同时个人能力有限,希望大家补充。 1.Excle神器NPOI NPOI 是 POI 项目的 .N 阅读全文
摘要:
2016-03-25 王金剑 架构师联盟 为什么需要MyCat? 虽然云计算时代,传统数据库存在着先天性的弊端,但是NoSQL数据库又无法将其替代。如果传统数据易于扩展,可切分,就可以避免单机(单库)的性能缺陷。 MyCat的目标就是:低成本地将现有的单机数据库和应用平滑迁移到“云”端,解决数据存储 阅读全文
摘要:
原创 2016-04-06 孔凡勇 架构师联盟 现在几乎任何一个网站、Web App以及移动APP等应用都需要有图片展示的功能,对于图片功能从下至上都是很重要的。必须要具有前瞻性的规划好图片服务器,图片的上传和下载速度至关重要,当然这并不是说一上来就搞很NB的架构,至少具备一定扩展性和稳定性。虽然各 阅读全文
摘要:
2016-04-13 徐亮偉 架构师联盟 目前网站架构一般分为网页缓存层、负载均衡层、Web层、数据库层、文件服务器层 。我们可以依次用这五层对网站架构进行讨论,为了增强说服力,我将用如下三个并发较大的生产环境来说明。 电子商务网站(并发最大峰值2900,日PV500万左右) 电子广告网站(并发最大 阅读全文
摘要:
原创 2016-04-17 itivy 架构师联盟 之前我简单向大家介绍了各个知名大型网站的架构,MySpace的五个里程碑、Flickr的架构、YouTube的架构、PlentyOfFish的架构、WikiPedia的架构。这几个都很典型,我们可以从中获取很多有关网站架构方面的知识,看了之后你会发 阅读全文
摘要:
2016-05-09 Heaven Wang 架构师联盟 一、Kafka简介 本文综合了我之前写的kafka相关文章,可作为一个全面了解学习kafka的培训学习资料。 1.1 背景历史 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个 阅读全文
摘要:
2016-06-05 hiyachen 架构师联盟 先说区别: 一句话:分布式是并联工作的,集群是串联工作的。 1:分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起,实现同一业务。 分布式中的每一个节点,都可以做集群。 而集群并不一定就是分布式的。 举例:就比如新浪网,访 阅读全文
摘要:
2016-07-04 erixhao 架构师联盟 The largest single database on earth - Google Spanner. 上文大篇幅介绍了一些分布式存储的理论,偏重理论。可别小看这些理论,Google的各个神器都是建立在这些理论之上,甚至整个Apache的大数据 阅读全文
摘要:
2016-07-02 erixhao 架构师联盟 总目录: 分布式存储概述 分布式存储特性 - 哈希分布/一致性哈希分布 分布式存储协议 - 两阶段与Paxos 一、概述 分布式存储作为互联网之核心基石,没有分布式海量存储就好比无源之水。分布式系统不是什么新鲜事物,教科书里已经研究了好多年,但是不温 阅读全文
摘要:
2016-07-28 架构师联盟 前面几篇文章对Elasticsearch做了简单介绍(http://www.qixing318.com/article/distributed-search-engine-elasticsearch-incarnations.html)与介绍如何创建索引,以及Ela 阅读全文
摘要:
2016-03-17 架构说 大型动态应用系统平台主要是针对于大流量、高并发网站建立的底层系统架构。大型网站的运行需要一个可靠、安全、可扩展、易维护的应用系统平台做为支撑,以保证网站应用的平稳运行。 系统架构组成 大型动态应用系统又可分为几个子系统: 1)Web前端系统 2)负载均衡系统 3)数据库 阅读全文
摘要:
2016-03-20 架构说 一、软件负载均衡概述 硬件负载均衡性能优越,功能全面,但是价格昂贵,一般适合初期或者土豪级公司长期使用。因此软件负载均衡在互联网领域大量使用。常用的软件负载均衡软件有Nginx,Lvs,HaProxy等。本文参考大量文档,部分为直接拷贝,参考出处文末。 二、Ngnix负 阅读全文
摘要:
2016-03-20 架构说 面对大量用户访问、高并发请求,海量数据,可以使用高性能的服务器、大型数据库,存储设备,高性能Web服务器,采用高效率的编程语言比如(Go,Scala)等,当单机容量达到极限时,我们需要考虑业务拆分和分布式部署,来解决大型网站访问量大,并发量高,海量数据的问题。 从单机网 阅读全文
摘要:
2016-03-27 架构说 在讲数据库水平拆分时候,我列出了水平拆分数据库需要解决的两个难题,它们分别是主键的设计问题和单表查询的问题,主键问题前文已经做了比较详细的讲述了,但是第二个问题我没有讲述,今天我将会讲讲如何解决数据表被垂直拆分后的单表查询问题。 要解决数据表被水平拆分后的单表查询问题, 阅读全文
摘要:
2016-03-26 架构说 上文里我遗留了两个问题,一个问题是数据库做了水平拆分以后,如果我们对主键的设计采取一种均匀分布的策略,那么它对于被水平拆分出的表后续的查询操作将有何种影响,第二个问题就是水平拆分的扩容问题。这两个问题在深入下去,本系列就越来越技术化了,可能最终很多朋友读完后还是没有找到 阅读全文
摘要:
2016-03-25 架构说 如果数据库需要进行水平拆分,这其实是一件很开心的事情,因为它代表公司的业务正在迅猛的增长,对于开发人员而言那就是有不尽的项目可以做,虽然会感觉很忙,但是人过的充实,心里也踏实。 数据库水平拆分简单说来就是先将原数据库里的一张表在做垂直拆分出来放置在单独的数据库和单独的表 阅读全文
摘要:
2016-03-25 架构说 存储的瓶颈写到现在就要进入到深水区了,如果我们所做的网站已经到了做数据库垂直拆分和水平拆分的阶段,那么此时我们所面临的技术难度的挑战也会大大增强。 这里我们先回顾下数据库的垂直拆分和水平拆分的定义: 垂直拆分:把一个数据库中不同业务单元的数据分到不同的数据库里。 水平拆 阅读全文
摘要:
上篇文章里我讲到某些网站在高并发下会报出503错误,503错误的含义是指网站服务端暂时无法提供服务的含义,503还表达了网站服务端现在有问题但是以后可能会提供正常的服务,对http协议熟悉的人都知道,5开头的响应码表达了服务端出现了问题,在我们开发测试时候最为常见的是500错误,500代表的含义是服 阅读全文
摘要:
2016-03-23 架构说 前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训,两天12个小时信息量非常大,知识的广度和难度也非常大,培训完后我很难完整理出全部听到的知识,今天我换了个思路是回味这次培训,这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。 首 阅读全文
摘要:
大型网站系统架构系列:分布式消息队列(二) 大型网站系统架构系列:分布式消息队列(二) 2016-03-21 架构说 四、JMS消息服务 讲消息队列就不得不提JMS 。JMS(JAVA Message Service,java消息服务)API是一个消息服务的标准/规范,允许应用程序组件基于JavaE 阅读全文
摘要:
大型网站系统架构系列:分布式消息队列(一) 大型网站系统架构系列:分布式消息队列(一) 2016-03-21 架构说 一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 阅读全文
摘要:
在天猫双11活动中,商品详情、店铺等浏览型系统,通常会承受超出日常数倍甚至数十倍的流量冲击。随着历年来双11流量的大幅增加,每年这些浏览型系统都要面临容量评估、硬件扩容、性能优化等各类技术挑战。因此,架构方面的重点在于,如何能够利用合理成本应对瞬间飙高的峰值请求,并确保活动完整周期中系统容量的可伸缩 阅读全文
摘要:
编者按:经过2014年一年的酝酿,2015微信红包总量创下历史新高,峰值1400万次/秒,8.1亿次每分钟,微信红包收发达10.1亿次,系统整体运行平稳, 在这里我分享下微信红包背后的技术。 讲师:jeri 核心功能&目标 首先,了解下微信红包的4个逻辑:摇/发/抢/拆。看似简单,实现可不简单再re 阅读全文
摘要:
最近,阅读了Will Larson的文章Introduction to Architecting System for Scale,感觉很有价值。作者分享了他在Yahoo!与Digg收获的设计可伸缩系统的架构经验。在我过往的架构经验中,由于主要参与开发企业软件系统,这种面向企业内部的软件系统通常不会 阅读全文
摘要:
一、大规模并发带来的挑战 在过去的工作中,我曾经面对过5w每秒的高并发秒杀功能,在这个过程中,整个Web系统遇到了很多的问题和挑战。如果Web系统不做针对性的优化,会轻而易举地陷入到异常状态。我们现在一起来讨论下,优化的思路和方法哈。 1. 请求接口的合理设计 一个秒杀或者抢购页面,通常分为2个部分 阅读全文
摘要:
Web服务器性能/压力测试工具http_load、webbench、ab、Siege使用教程 Web服务器性能/压力测试工具http_load、webbench、ab、Siege使用教程 可以通过压力测试对网站及服务器性能进行高压测试,暴露出其所存在的问题。从而对服务器及网站进行调整和优化。 注意在 阅读全文
摘要:
RAID - 提升IO性能及数据安全 磁盘的I/O性能直接影响应用程序的性能,在一个有频繁读写操作的应用中,如果磁盘I/O性能得不到满足,就会导致应用停滞 好在如今的磁盘采用了很多方法来提高I/O性能,比如常见的磁盘RAID技术 RAID的英文全称为:Redundant Array of Indep 阅读全文
摘要:
在Windows服务器上安装ELK logstash在windows平台下不能监控磁盘文件,用nxlog代替,监控文件并把内容发送到logstash 部署环境 Os :Windows 7 logstash版本:logstash-2.2.1 elasticsearch版本:elasticsearch- 阅读全文
摘要:
ASP.NET Web Api使用CacheCow和ETag缓存资源 ASP.NET Web Api使用CacheCow和ETag缓存资源 2015-07-15 FZRAIN dotNET跨平台 前言 本文将使用一个开源框架CacheCow来实现针对Http请求资源缓存,本文主要介绍服务器端的缓存。 阅读全文
摘要:
一、大规模并发带来的挑战 在过去的工作中,我曾经面对过5w每秒的高并发秒杀功能,在这个过程中,整个Web系统遇到了很多的问题和挑战。 如果Web系统不做针对性的优化,会轻而易举地陷入到异常状态。我们现在一起来讨论下,优化的思路和方法哈。 1. 请求接口的合理设计 一个秒杀或者抢购页面,通常分为2个部 阅读全文
摘要:
网页性能优化工具 PageSpeed 和 YSlow 是目前主流的网页性能测试工具 GT Metrix 结合了 Google PageSpeed 和 YSlow,帮助开发者创建快速、高效、全面优化的网页浏览体验 地址 https://gtmetrix.com/ 虽然是国外的网站,但访问速度很快 在首 阅读全文
摘要:
目录 系列主题:基于消息的软件架构模型演变 系列主题:基于消息的软件架构模型演变 NServiceBus 是一个.Net平台下开源的消息服务框架,这类产品有时也被称作ESB(Enterprise Service Bus)——企业服务总线。NServicebus官方地址:http://particul 阅读全文
摘要:
前言应用场景 事务必须满足传统事务的特性,即原子性,一致性,分离性和持久性。但是分布式事务处理过程中, 某些场地比如在电商系统中,当有用户下单后,除了在订单表插入一条记录外,对应商品表的这个商品数量必须减1吧,怎么保证? 在搜索广告系统中,当用户点击某广告后,除了在点击事件表中增加一条记录外,还得去 阅读全文