随笔分类 - 项目经验
摘要：最近做了一个小的mapreduce程序，主要目的是计算环比值最高的前5名，本来打算使用spark计算，可是本人目前spark还只是简单看了下，因此就先改用mapreduce计算了，今天和大家分享下这个例子，也算是对自己写的程序的总结了。 首先解释下环比，例如我们要算本周的环比，那么计算方式就是本周的
阅读全文
摘要：最近因为做了些和hadoop相关的项目（虽然主要是运维），但是这段经历让我对hadoop的实际运用有了更加深入的理解。 相比以前自学hadoop，因为没有实战场景以及良好的大数据学习氛围，现在回顾下的确相当肤浅。 因此我要好好重学下hadoop，短期计划如下： 1.重学HDFS知识 ...
阅读全文
摘要：1.hbase的rowkey是按字典排序的，我看有的资料建议rowkey设计不应该是自增的，应该和这个字典排序相关吧 2.hbase的数据存储是按照region来的，region的设计前段时间在坐飞机时候看了下，看来映像不是太深，有点记忆不清了，不过今天发现，region是请求访问的一个具体源头，...
阅读全文
摘要：一台linux服务器往往可以安装很多快硬盘，我们平时使用的PC电脑一般都是使用一块硬盘，那么多个硬盘在一个服务器上，这些硬盘是如何相互访问的了？这里就有硬盘挂载的问题，一般硬盘挂载都是从安装系统硬盘上定义个文件夹，由文件夹作为进入其他硬盘的访问入口。 HDFS和挂载有着密切的关系，例如dfs....
阅读全文
摘要：本篇继续web前端优化的讨论，开始我先讲个我所知道的一个故事，有家大型的企业顺应时代发展的潮流开始投身于互联网行业了，它们为此专门设立了一个事业部，不过该企业把这个事业部里的人事成本，系统运维成本特别是硬件采购的成本都由总公司来承担，当然互联网业务上的市场营销成本这块还是由该事业部自己承担，可是...
阅读全文
摘要：Web前端很多优化原则都是从如何提升网络通讯效率的角度提出的，但是这些原则使用的时候还是有很多陷阱在里面，如果我们不能深入理解这些优化原则背后所隐藏的技术原理，很有可能掉进这些陷阱里，最终没有达到最佳的预期效果，今天我在这里分析下浏览器和服务端通讯的一些细节问题，希望通过分析这些细节问题，能给大...
阅读全文
摘要：网站静态化处理这个系列马上就要结束了，今天我要讲讲本系列最后一个重要的主题web前端优化。在开始谈论本主题之前，我想问大家一个问题，网站静态化处理技术到底是应该归属于web服务端的技术范畴还是应该归属于web前端的技术范畴，要回答清楚这个问题我们要明确下网站应用的本质到底是什么？网站的本质其实就...
阅读全文
摘要：反向代理也是一种可以帮助实现网站静态化的重要技术，今天我就来讲讲反向代理这个主题。那么首先我们要了解下什么是反向代理。和反向代理相对应的是正向代理，正向代理也就是我们常说的代理服务，正向代理是非常常见的，例如在某些公司里我们想使用互联网，那么我们就得在浏览器里设置一个代理服务器，通过代理服务器我...
阅读全文
摘要：前后端分离的主题虽然讲完了，但是前后端分离的内容并没有结束，本篇将继续前后端分离的问题，只不过这次前后端分离的讲述将会围绕着本系列的主题网站静态化进行。在讲本篇主题之前，我需要纠正一下前后端分离主题讲述中会让朋友们产生误导的地方，这种误导就是对时下流行的一些前后端分离方案（没有使用nodejs的...
阅读全文
摘要：我第一次听说nodejs技术大概是在2009年年末，不过我真正认真在网络上进一步了解nodejs还是在2010年年中，当时对nodejs的认识和我现在对nodejs的认识有着天壤的区别，开始想了解nodejs我只是为了感慨谷歌公司开发的V8引擎居然如此强大，它不仅仅可以作为chrome浏览器的j...
阅读全文
摘要：上篇里我讲到了一种前后端分离方案，这套方案放到服务端开发人员面前比放在web前端开发人员面前或许得到的掌声会更多，我想很多资深前端工程师看到这样的技术方案可能会有种说不出来的矛盾心情，当我的工作逐渐走向越来越专业化的前端开发后，我就时常被这套前后端分离方案所困惑，最近我终于明白了这个困惑的本源在...
阅读全文
摘要：前文讲到了CSI技术，这就说明网站静态化技术的讲述已经推进到了浏览器端了即真正到了web前端的范畴了，而时下web前端技术的前沿之一就是前后端分离技术了，那么在这里网站静态化技术和前后端分离技术产生了交集，所以今天我将讨论下前后端分离技术，前后端分离技术讨论完后，下一篇文章我将会以网站静态化技术...
阅读全文
摘要：讲完了SSI，ESI，下面就要讲讲CSI了 ，CSI是浏览器端的动静整合方案，当我文章发表后有朋友就问我，CSI技术是不是就是通过ajax来加载数据啊，我当时的回答只是说你的理解有点片面，那么到底什么是CSI技术了？这个其实要和动静资源整合的角度来定义。 CSI技术其实是在页面进行动静分离后，...
阅读全文
摘要：上篇我补充了下SSI的知识，SSI是一个十分常见的技术，记得多年前我看到很多门户网站页面的后缀是.shtml，那么这就说明很多门户网站都曾经使用过SSI技术，其实现在搜狐网站也还在用shtml，如下图所示： 由此可见SSI在互联网的应用还是非常广泛的。其实互联网很多网页如果我们按照动静分离策略...
阅读全文
摘要：前文里我讲到了网站静态化的关键点是动静分离，动静分离是让动态网站里的动态网页根据一定规则把不变的资源和经常变的资源区分开来，动静资源做好了拆分以后，我们就可以根据静态资源的特点将其做缓存操作，这就是网站静态化处理的核心思路。由此可见，网站静态化处理的核心就是动静分离和缓存两大方面，上篇我简单讲述...
阅读全文
摘要：上篇文章我简要的介绍了下网站静态化的演进过程，有朋友可能认为这些知识有点过于稀松平常了，而且网站静态化的技术基点也不是那么高深和难以理解，因此它和时下日新月异的web前端技术相比，就显得不伦不类了。其实当我打算写本系列的之前我个人觉得web前端有一个点是很多人都知道重要，但是有常常低估它作用的，...
阅读全文
摘要：在存储瓶颈的开篇我提到像hao123这样的导航网站只要它部署的web服务器数量足够，它可以承载超大规模的并发访问量，如果是一个动态的网站，特别是使用到了数据库的网站是很难做到通过增加web服务器数量的方式来有效的增加网站并发访问能力的。但是现实情况是像淘宝、京东这样的大型动态网站在承担高并发的情...
阅读全文
摘要：在开始本篇主要内容前，我们一起看看下面的几张截图，首先是第一张图，如下图所示： 这是一家电商网站的首页，当我们第一次打开这个首页，网站会弹出一个强制性的对话框，让用户选择货物配送的地址，如果是淘宝和京东的话，那么这个选择配货地址的选项是在商品里，如下图是淘宝的选择配送地点： 下图是京东选择配...
阅读全文
摘要：本文开篇提个问题给大家，关系数据库的瓶颈有哪些？我想有些朋友看到这个问题肯定会说出自己平时开发中碰到了一个跟数据库有关的什么什么问题，然后如何解决的等等，这样的答案没问题，但是却没有代表性，如果出现了一个新的存储瓶颈问题，你在那个场景的处理经验可以套用在这个新问题上吗？这个真的很难说。 其实不...
阅读全文
摘要：在讲数据库水平拆分时候，我列出了水平拆分数据库需要解决的两个难题，它们分别是主键的设计问题和单表查询的问题，主键问题前文已经做了比较详细的讲述了，但是第二个问题我没有讲述，今天我将会讲讲如何解决数据表被水平拆分后的单表查询问题。 要解决数据表被水平拆分后的单表查询问题，我们首先要回到问题的源头...
阅读全文