摘要：几种常用的认证机制 HTTP Basic Auth HTTP Basic Auth简单点说明就是每次请求API时都提供用户的username和password，简言之，Basic Auth是配合RESTful API 使用的最简单的认证方式，只需提供用户名密码即可，但由于有把用户名密码暴露给第三方客 阅读全文

摘要：第5课 大规模数据处理的难点 -- 内存和磁盘 单台Linux服务器瓶颈分析 1、查看平均负载 用top、uptime命令查看平均负载； 1、平均负载很低，系统吞吐量无法提升 --------->检查软件设置是否异常，网络、主机是否存在故障 2、平均负载很高，用sar或vmstat命令查看cpu使用率和I/O等待率 2、确认CPU、I/O是否存在瓶颈； >如果是CPU... 阅读全文

摘要：原文：http://instagram-engineering.tumblr.com/post/13649370142/what-powers-instagram-hundreds-of-instances-dozens-of当我们与其他工程师偶遇和交流的时候，有一个问题经常被问及，“你们的技术架构（technology stack）是怎么样的”？我们觉得从较高的层次来描述Instagram的所有构成系统是一件有趣的事情；未来你可能期待更深入的描述这些系统。这就是我们的系统，仅仅1年时间，并且我们活了下来，其中有一部分我们一直在修改。一个小型团队的初创公司，可以在一年多一点时间发展到1400多 阅读全文

摘要：今天在读《大规模Web服务开发技术》一书的时候，书中提到了sar这个命令，感觉很有用，有必要整理学习一下。（对于一位Linux初学者，不能放过任何一个学习机会 ：P）打开自己的CentOS，敲入“sar”，表示很失望：[root@localhost ~]# sar bash: sar: command not found 竟然没有安装，不过还好linux下安装还是非常方便的。 [root@localhost ~]# yum install sysstat Loaded plugins: fastestmirror Loading mirror speeds from c... 阅读全文

摘要：关于http协议，相信一般的人都知道，相关的文章网上一抓一大把。但是对http协议的细节真的都清楚了吗？我自问了一下，很是惭愧，于是决定好好捋捋。刨开表层看内在，首先装上httpwatch亲眼目睹一下http的真容：访问google看看请求报头GET http://www.google.com/ HTTP/1.1Accept: application/x-shockwave-flash, image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/vnd.ms-excel, application/vnd.ms-powerpoint 阅读全文

摘要：缓存（cache）和缓冲（buffer）的区别：缓存（cache）:缓存的目的是把需要花费昂贵开销的计算结果保存起来，在以后需要的时候直接取出，避免重复的计算。缓冲（buffer）:目的在于改善各部件之间因为速度不同而引发的问题。起到将快速设备与慢速设备平滑衔接的作用。页面缓存（Page Cache）页面缓存就是将动态计算的结果进行缓存，避免动态内容不必要的重复计算，主要是针对动态生成的html页面和动态图片或动态XML数据等；缓存持久化和搜索 如果缓存文件非常多，cache目录下会拥挤大量的文件，如果缓存的文件的读写频度比较高，对CPU的影响是非常大的；解决的方案： 1、使用支持目录hash 阅读全文

摘要：什么是带宽？误解：“数据在线路中的移动速度”、“数据的传输速度”我们所说的带宽是指数据的发送速度，比如百兆网卡，指网卡的最大发送速度是100Mbps，也就是说网卡在一秒钟最多可以发送100Mb的数据；相关的因素：数据发送装置将二进制信号传送到线路的能力，也称信号传输频率，以及另一端数据接收装置对二进制信号接收的能力，也包括线路对传输频率的支持程度；数据传输介质的并行度，等价于计算机系统总线宽度的概念；习惯与约定b：比特单位 bit；B：字节单位 Byte；1KB = 1024B；1kb = 1000b；M与K 的换算同上；什么是吞吐率？吞吐率（Throughput），是指web服务器单位时间内 阅读全文

摘要：今天在看云风的铁路订票系统的简单设计 时，看到他提到通过动态DNS实现负载均衡；感觉自己对负载均衡这块一直是模模糊糊，有必要补补钙。动态DNS（英语：Dynamic DNS，简称D-DNS）是一种把互联网域名指往可变IP地址的系统。简单的说，动态域名可以在你的电脑每次上网得到新的IP之后，自动设置了新域名的指向，使网上其他任何人访问该域名时，始终能定向到你机器的最新的正确IP上去，从而使得人们能使用一个能记忆的，对用户来说是永远不变的域名来访问你那台IP每天都在变化的机器。从而也就能实现了将个人电脑变成可以供任何人访问的“服务器”了。当然，我所关心的是动态DNS技术在负载均衡方面的应用，那么让 阅读全文