随笔分类 - 04.系统架构和开发
摘要：内核的 shmall 和 shmmax 参数 SHMMAX= 配置了最大的内存segment的大小 >这个设置的比SGA_MAX_SIZE大比较好。SHMMIN= 最小的内存segment的大小 SHMMNI= 整个系统的内存segment的总个数 SHMSEG= 每个进程可以使用的内存segmen
阅读全文
摘要：简单地说，虚拟内存就是硬盘中的一块区域，它用来存放内存里使用频率不高的页面文件。好处是为了提高内存的利用率 - 让使用频率高的页面文件活动在内存区域中，提高CPU对数据操作的速度。在Linux中，这个区域叫做swap,一般大小应设置为物理内存的2倍。 vm.swappiness是Linux内核的一个
阅读全文
摘要：从LR里面add measurement，填写linux机器的IP，出现所有unix/linux的计数器，包括cpu的，mem的，disk，network的。这里介绍几个常用的： （对于如何监控Linux，请参考之前这写的一篇文章《loadrunner监控Linux之前需要做的准备工作》） aver
阅读全文
摘要：vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO
阅读全文
摘要：mongodb 3.0 改变很多，从2.6版本升级到3.0要关注的细节很多，如权限等等。3.0在数据存储引擎上更换成了wiredTiger，在数据压缩方面很有效，解决大数据量问题的情况下，磁盘不够用的问题。 mongodb 3.0 配置文件采用的是YAML格式，只能使用空格，不支持tab键。 单实例
阅读全文
摘要：mongodb常用命令脚本化-自动化运维 把一些运维中常用到的mongodb命令写成shell脚本，极大的方便了维护 1 设置副本集 #!/bin/bash#mongodb 进入client 并use admincd /usr/mongodb/binMongoDB='./mongo 192.168.
阅读全文
摘要：问题描述： 当分析生产环境发生的性能问题时，常常因为没有实时的依据而无从下手。那么笔者通过捕获db.currentOp()到文件，并作为定时任务，可供后续分析。 解决方法： 步骤一：Shell脚本记录db.currentOp() 1. 创建文件夹 mkdir currentOp 2.创建curren
阅读全文
摘要：环境准备 Linux环境 MongoDB版本：mongodb-linux-x86_64-2.4.1，下载地址：www.mongodb.org/downloads. MongoDB安装：分别在两台机器上安装好mongodb 2.4.1，安装路径都为/url/local/mongodb-2.4.1/ c
阅读全文
摘要：这两天在调优数据库性能的过程中需要降低操作系统文件Cache对数据库性能的影响，故调研了一些降低文件系统缓存大小的方法，其中一种是通过修改/proc/sys/vm/dirty_background_ration以及/proc/sys/vm/dirty_ratio两个参数的大小来实现。看了不少相关博文
阅读全文
摘要：vmstat是Virtual Meomory Statistics（虚拟内存统计）的缩写，可对操作系统的虚拟内存、进程、CPU活动进行监控。他是对系统的整体情况进行统计，不足之处是无法对某个进程进行深入分析。vmstat 工具提供了一种低开销的系统性能观察方式。因为 vmstat 本身就是低开销工具
阅读全文
摘要：如果你已经完成了自己新的MongoDB应用程序的开发，并且现在正准备将它部署进产品中，那么你和你的运营团队需要讨论一些关键的问题： 最佳部署实践是什么？ 为了确保应用程序满足它所必须的服务层次我们需要监控哪些关键指标？ 如何能够确定添加分片的时机？ 有哪些工具可以对数据库进行备份和恢复？ 怎样才能安
阅读全文
摘要：本文主要内容来自MongoDB官方文档http://docs.mongodb.org/manual/administration/production-notes/。并结合了实际工作情况进行分享。 1)软件包的选择 确保使用最新的稳定版本。目前我们线上使用的版本是2.4.6。MongoDB软件包下载
阅读全文
摘要：最近在学mongoDB，安装倒没什么困难，有yum仓库。不过接入ctl后的一条warning倒挺让人烦心的。 1 2 2015-03-22T09:27:00.222+0800 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transpare
阅读全文
摘要：注：本文只做本人记录使用，也可供大家参考，有兴趣的可以一起讨论。 安装步骤 1、yum –y update 2、安装Mono源码安装需要的库 yum -y install gcc gcc-c++ bison pkgconfig glib2-devel gettext make libpng-deve
阅读全文
摘要：随着应用对高性能需求的增加，NoSQL逐渐在各大名企的系统架构中生根发芽。这里我们将为大家分享社交巨头新浪微博、传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践，首先我们看新浪微博 @启盼cobain的Redis实战经验分享： 新浪微博：史上最大的Redis集群 Tap
阅读全文
摘要：摘要：总体上讲，SOA 和 Web API 似乎解决的是同一个问题：以实时的、可重用的方式公开业务功能。本教程将分析这些举措有何不同，以及如何将它们融入到一个不断演变的集成架构中。文中还将讨论 API 管理与在它之前出现的集成架构（比如 SOA 和 EAI）有何不同。 简介 几乎所有企业都有多个应用
阅读全文
摘要：关于架构，笔者认为并不是越复杂越好，而是相反，简单就是硬道理也提现在这里。这也是微服务能够流行的原因，看看市场上曾经出现的服务架构：EJB、SCA、Dubbo等等，都比微服务先进，都比微服务功能完善，但它们都没有微服务这么深入民心，就是因为他们过于复杂。简单就是高科技，苹果手机据说专门有个团队研究如
阅读全文
摘要：在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。 一个解决方案是使用键值（Key-Value）存储数据库，这是一种NoSQL（非关系型数据库）模型，其数据按照键值对的形式
阅读全文
摘要：摘要：这篇文章的分享者杨波具有超过10年的互联网分布式系统研发和架构经验，曾先后就职于 eBay 中国研发中心（eBay CDC）、携程、唯品会（VIPShop）等。本文由攀爬的蜗牛以及田光整理。 今天的分享主要来自我之前的工作经验以及平时的学习总结和思考。我之前的背景主要是做框架、系统和平台架构，
阅读全文
摘要：这篇文章主要揭秘 Stack Overflow 截止到 2016 年的技术架构。 首先给出一个直观的数据，让大家有个初步的印象。 相比于 2013 年 11 月，Stack Overflow 在 2016 年 02 月统计数据有较大变化，下面给出 2016 年 02 月 09 号一天的数据，如下：
阅读全文