随笔分类 - 系统设计与架构
摘要：上篇里我讲到某些网站在高并发下会报出503错误，503错误的含义是指网站服务端暂时无法提供服务的含义，503还表达了网站服务端现在有问题但是以后可能会提供正常的服务，对http协议熟悉的人都知道，5开头的响应码表达了服务端出现了问题，在我们开发测试时候最为常见的是500错误，500代表的含义是服...
阅读全文
摘要：前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训，两天12个小时信息量非常大，知识的广度和难度也非常大，培训完后我很难完整理出全部听到的知识，今天我换了个思路是回味这次培训，这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。 首先我们要思考一个问题，什...
阅读全文
摘要：下面的图片是我使用firefox和chrome浏览百度首页时候记录的http请求下面是firefox：下面是chrome： 在浏览百度首页前我都将浏览器的缓存全部清理掉，让这个场景最接近第一次访问百度首页的情景。 在firefox的请求瀑布图里有个表现非常之明显：就是javascript文件...
阅读全文
摘要：前不久有个网友问我在前端使用requireJs和seajs的问题，我当时问他你们公司以前有没有自己编写的javascript库，或者javascript框架，他的回答是什么都没有，他只是听说像requirejs和seajs是新东西新技术，很有价值所以想用它。 这位网友的问题引起了我对javas...
阅读全文
摘要：如果以后公司再能让我独立做一套新的完整系统，那么我肯定会为这个系统再写一个前端框架，那么我到底该如何写这个框架呢？ 在我以前的博客里我给大家展示了一个我自己写的框架，由于当时时间很紧张，做之前几乎没有完整的思考过我到底该如何去写这个框架，所以事后对于这个框架我有很多遗憾之处，当我重构过一次代码...
阅读全文
摘要：一、开篇语 我的上篇文章《关于如何提供Web服务端并发效率的异步编程技术》又成为了博客园里“编辑推荐”的文章，这是对我写博客很大的鼓励，也许是被推荐的原因很多童鞋在这篇文章里发表了评论，有童鞋说我这篇文章理论化很严重，没有实际代码和具体项目做支撑，这个评论让我有种理论和实践脱节的味道，所以我想在这...
阅读全文
摘要：最近我研究技术的一个重点是java的多线程开发，在我早期学习java的时候，很多书上把java的多线程开发标榜为简单易用，这个简单易用是以C语言作为参照的，不过我也没有使用过C语言开发过多线程，我只知道我学习java多线程开发是很难的，直到现在写这篇文章的时候，虽然我对java多线程里的API比...
阅读全文
摘要：今年我一直在思考web开发里的前后端分离的问题，到了现在也颇有点心得了，随着这个问题的深入，再加以现在公司很多web项目的控制层的技术框架由struts2迁移到springMVC，我突然有了一个新的疑问无法得到正确的解释，为什么我们现在做java的web开发，会选择struts2或者spring...
阅读全文
摘要：在前面的文章里我谈到了前后端分离的一些看法，这个看法是从宏观的角度来思考的，没有具体的落地实现，今天我将延续上篇文章的主题，从纯前端的架构设计角度谈谈前后端分离的一种具体实现方案，该方案和我原来设想有了很大的变化，但是核心思想没变，就是控制层是属于Web前端的。 在以前文章里我说道前后端分离的...
阅读全文
摘要：最近研究servlet，看书时候书里讲到了c/s架构到b/s架构的演变，讲servlet的书都很老了，现在的b/s架构已经不是几年前的b/s架构，其实b/s架构就是web应用开发，对于这样的架构我们现在应该考虑的是前端和后端的分离（注意：这里的后端是指服务端）。 Web前端现在是一个独立的技术工种，这个工种的产生主要是针对互联网行业的需求，我在以前的文章里曾经讲到过，一个大型互联网网站，例如想淘宝网，它绝对不是一个Web项目，而是一群web项目的集合，那么如果不在前端进行整合，这么多web项目前端开发一定存在大量重复劳动，并且运维时候也存在难以统一管理的问题。本文假想一个面对需要前端资源...
阅读全文
摘要：一、下篇开头的废话 终于开写下篇了，这也是我写远程调用框架的第三篇文章，前两篇都被博客园作为【编辑推荐】的文章，很兴奋哦，嘿嘿~~~~，本人是个很臭美的人，一定得要截图为证： 今天是2014年的第一天，按中国辞旧迎新的传统，也作为我2014年第一篇博客，我想开篇前要总结下2013年的技术学习。今...
阅读全文
摘要：一、序言 Hadoop是一个技术生态圈，zookeeper是hadoop生态圈里一个非常重要的技术，当我研究学习hadoop的相关技术时候，有两块知识曾经让我十分的困惑，一个是hbase，一个就是zookeeper，hbase的困惑源自于它在颠覆了我对数据库建模的理解，而zookeeper的困惑却...
阅读全文
摘要：年末了，公司在统计自己支付系统的订单成功率，最后发现有很多订单成功率问题是和用户页面操作相关，但是我们目前有些页面没有打点做用户行为数据的采集，因此很难分析出用户到底是是什么原因没有完成订单，对此我写了一个前端监控方案，下班时候和领导开会讨论这个方案，很晚才回家哦，会上还是被批了一番，认为这个和用户行为分析系统耦合，而且最关键的采集那些信息，怎么分析信息没有细化，公司有相似的技术方案，我的方案很难成型。领导说的没错，我这个方案是重复性劳动，没必要大动干戈，但是至少我提出这个方案表明公司用户行为分析系统对类似前端页面监控的方案可能支持不够，这就让我产生了新的思考了，其实不管是用户行为还是前端监控
阅读全文
摘要：session是web开发里一个重要的概念，在大多数web应用里session都是被当做现成的东西，拿来就直接用，但是一些复杂的web应用里能拿来用的session已经满足不了实际的需求，当碰到这样的情况时候我们需要更加深入的理解session的机制，本文将梳理下session的相关知识，为设计可替代web容器自带的session机制打个基础。1.1session的概念在计算机专业术语里：session是指一个终端用户与交互系统进行通信的时间间隔，通常指从注册入系统到注销系统之间所经过的时间以及如果需要的话，可能还有一定操作空间。具体到web应用里的session，大家都做过web开发，这里我
阅读全文
摘要：在深入学习zookeeper我想先给大家介绍一个和zookeeper相关的应用实例，我把这个实例命名为远程调用服务。通过对这种应用实例的描述，我们会对zookeeper应用场景会有深入的了解。 远程调用是系统与系统之间的通信机制，它的另一种理解就是进程间的通信。做分布式系统的开发，远程调用技术是其核心技术。远程调用技术可以将一组计算机系统形成一个网络系统，对外提供整体服务，那么这一群的计算机系统就构成了一个更大型，性能更高的计算机系统。 我在前面的博客里介绍了一种分布式网站的架构设计，其中就有一个使用netty技术编写的组件作为前端系统和服务端系统通信的媒介。在一个大型的互联网公司里会...
阅读全文
摘要：前不久我们公司和业内一家一流的公司做了一次技术交流，对于他们的监控系统、日志系统、统一配置系统以及部署系统印象深刻。深刻的原因是我们公司这些工作都是徒手操作，跟他们相比简直是大刀对坦克了，交流完后我们大伙内部也讨论了下，该公司的这些系统我们这边也是急切需要的，无数生产的问题以及生产效率的问题都是因为监控、日志、配置以及部署所造成的，但是现实是做这些自动化管理的系统需要投入大量人力和物力，而且还要专心致志做相关研究才能将这些系统做完做好，而我们技术部门现在人力远远不足的时候这样的系统开发对于领导而言是会影响核心业务开发的，领导绝对不会让我们这些开发人员投入大量精力去做这样的事情，如果不是全身..
阅读全文
摘要：开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架的意义，hdfs和mapreduce是密不可分，所以当我写分布式文件系统时候，总是感觉自己的理解肤浅，今天我开始写mapreduce了，今天写文章时候比上周要进步多，不过到底能不能写好本文了，只有..
阅读全文
摘要：继续研究hadoop，有童鞋问我，为啥不接着写hive的文章了，原因主要是时间不够，我对hive的研究基本结束，现在主要是hdfs和mapreduce，能写文章的时间也不多，只有周末才有时间写文章，所以最近的文章都是写hdfs和mapreduce。不过hive是建立在hdfs和mapreduce之上，研究好hdfs和mapreduce也是真正用好hive的前提。 今天的内容是mapreduce，经过这么长时间的学习，我对hadoop的相关技术理解更加深入了，这回我会尽全力讲解好mapreduce。 第一篇文件时研究mapreduce前的准本工作。 研究hadoop的准备工作 要研究...
阅读全文
摘要：在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。 首先我要讲讲hive的数据类型。 Hive支持两种数据类型，一类叫原子数据类型，一类叫复杂数据类型。 原子数据类型包括数值型、布尔型和字符串类型，具体如下表所示：基...
阅读全文
摘要：Zookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper，本文不谈如何使用zookeeper，而是zookeeper到底有哪些实际的运用，哪些类型的应用能发挥zookeeper的优势，最后谈谈zookeeper对分布式网站架构能产生怎样的作用。 Zookeeper是针对大型分布式系统的高可靠的协调系统。由这个定义我们知道zookeeper是个协调系统，作用的对象是分布式系统。为什么分布式系统需要一个协调系统了？理由如下： 开发分布式系统是件很困难的事情，其中的困难主...
阅读全文