05 2012 档案
摘要:第5课 大规模数据处理的难点 -- 内存和磁盘 单台Linux服务器瓶颈分析 1、查看平均负载 用top、uptime命令查看平均负载; 1、平均负载很低,系统吞吐量无法提升 --------->检查软件设置是否异常,网络、主机是否存在故障 2、平均负载很高,用sar或vmstat命令查看cpu使用率和I/O等待率 2、确认CPU、I/O是否存在瓶颈; >如果是CPU...
阅读全文
摘要:前一篇翻译了Instagram blog上的一篇文章《What Powers Instagram: Hundreds of Instances, Dozens of Technologies》,让我们对Instagram 的大致技术路线有了一个大体的了解。我觉得Instagram 的工程师能够在Instagram blog上将自己使用的技术和工具进行分享,真是难能可贵。同时,在网上看到了一份Mike Krieger在“AirBnB Tech Talk 2012”上演讲的PPT,感觉受益匪浅,有必要整理学习。相关统计用户规模:30+ million users in less than 2 ye
阅读全文
摘要:原文:http://instagram-engineering.tumblr.com/post/13649370142/what-powers-instagram-hundreds-of-instances-dozens-of当我们与其他工程师偶遇和交流的时候,有一个问题经常被问及,“你们的技术架构(technology stack)是怎么样的”?我们觉得从较高的层次来描述Instagram的所有构成系统是一件有趣的事情;未来你可能期待更深入的描述这些系统。这就是我们的系统,仅仅1年时间,并且我们活了下来,其中有一部分我们一直在修改。一个小型团队的初创公司,可以在一年多一点时间发展到1400多
阅读全文
摘要:因为公司的主要业务是图像识别相关的,因此对图像处理、识别是我学习的重点。虽然写程序也不少年了,但是对于图像处理领域,我还是一个新兵。对很多基础的概念也还是存在盲区,所以想在边学边做的过程中,对一些概念的梳理和学习心得进行记录。 BMP文件格式 BMP(Bitmap-File)图形文件,又叫位图文件,是Windows采用的图形文件格式,在Windows环境下运行的所有图象处理软件都支持BMP图象文件格式。Windows系统内部各图像绘制操作都是以BMP为基础的。一个BMP文件由四部分组成: 位图文件头 位图信息段 调色板 位图数据 ...
阅读全文