随笔分类 - 转载
摘要：- 假设我们要上线一个两年内不会宕机的先进架构。在上线前，免不了单元测试，功能测试，还有使用ab，webbench等等进行压力测试。 但这些步骤非生产环境下正式用户的行为。或许你会想到灰度上线，但毕竟可能会影响到部分用户，这怎么对得起我们两年内不宕机的承诺呢？ 好在网易的 王斌 开发了tcpcopy
阅读全文
摘要：1.前言 Swift升级到2.0大版本后宣称开始支持纠删码，这其实是一个很有意义的特性，主要是能够在一定程度上解决3副本空间浪费太多的问题。因为3副本这一点是swift推广的最大障碍之一，成本的增加吓退了不少潜在客户。这次的改进有望消除客户顾虑，拓展更多用户 http://www.openstack
阅读全文
摘要：「一切都会运行在云端」。 云时代早已来临，本文着眼于顶级云服务商云服务商的云数据库方案背后的架构，以及笔者最近观察到的一些对于云数据库有意义的工业界的相关技术的进展，希望读者能有所收获。 现在越来越多的业务从自己维护基础设施转移到公有（或者私有）云上， 带来的好处也是无需赘述的，极大降低了 IaaS
阅读全文
摘要：一、集群简介 什么是集群 计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算
阅读全文
摘要：Global Server Load Balancing 中文:全局负载均衡 SLB(Server load balancing)是对集群内物理主机的负载均衡，而GSLB是对物理集群的负载均衡。这里的负载均衡可能不只是简单的流量均匀分配,而是会根据策略的不同实现不同场景的应用交付。 GSLB是依赖于
阅读全文
摘要：一、文件系统概述 1. 引导块 前文中介绍过磁盘需要进行分区和格式化，才能创建文件系统并使用，那么一块已经被各式化了分区其结构是什么样的呢？分区是按照柱面来划分的，而柱面包含的是磁道，磁道上包含的是扇区，一个分区上的前两个扇区（512 bytes * 2 = 1024 bytes）为引导块（Boot
阅读全文
摘要：前面讲解了平衡查找树中的2-3树以及其实现红黑树。2-3树种，一个节点最多有2个key，而红黑树则使用染色的方式来标识这两个key。 维基百科对B树的定义为“在计算机科学中，B树（B-tree）是一种树状数据结构，它能够存储数据、对其进行排序并允许以O(log n)的时间复杂度运行进行查找、顺序读取
阅读全文
摘要：为什么文件存储要选用B+树这样的数据结构？ “文件存储要选用B+树这样的数据结构”——没记错的话，这是严蔚敏那本数据结构书上的一句结论。不知道是我没细看还是她没细讲，反正当时纯粹应试地记了这么个结论。不求甚解终究不是一个好的学习态度，一直以来我都没有细想过这个事情，直到看到了这篇博文 。 此文信息量
阅读全文
摘要：日志文件系统可以在系统发生断电或者其它系统故障时保证整体数据的完整性，Linux是目前支持日志文件系统最多的操作系统之一，本文重点研究了Linux常用的日志文件系统：EXT3、ReiserFS、XFS和JFS日志技术，并采用标准的测试工具PostMark和Bonnie++对它们进行了测试，给出了详细
阅读全文
摘要：本文介绍了对 Linux IO 子系统性能进行优化时需要考虑的因素，以及一些 IO 性能检测工具。 本文的大部分内容来自 IBM Redbook - Linux Performance and Tuning Guidelines FileSystem VFS(Virtual FileSystem)
阅读全文
摘要：在Linux 开发中，有几个关系到性能的东西，技术人员非常关注：进程，CPU，MEM，网络IO，磁盘IO。本篇文件打算详细全面，深入浅出。剖析文件IO的细节。从多个角度探索如何提高IO性能。本文尽量用通俗易懂的视角去阐述。不copy内核代码。 阐述之前，要先有个大视角，让我们站在万米高空，鸟瞰我们的
阅读全文
摘要：我们含有分析的，是基于2.6.32及其后的内核. 我们在linux上总是要保存数据，数据要么保存在文件系统里（如ext3），要么就保存在裸设备里。我们在使用这些数据的时候都是通过文件这个抽象来访问的，操作系统会把我们需要的数据提交给我们，而我们则无需和块设备打交道。 从下图，我们可以清除的看到： I
阅读全文
摘要：HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，H
阅读全文
摘要：本文综合分析了Linux系统下，如何使用runuser命令、su命令和sudo命令以其他用户身份来运行程序，以及这三个命令的运行效率比较。 一、su 命令临时切换用户身份 SU：( Switch user切换用户)，可让一个普通用户切换为超级用户或其他用户，并可临时拥有所切换用户的权限，切换时需输入
阅读全文
摘要：内存虚拟化的概念 除了 CPU 虚拟化，另一个关键是内存虚拟化，通过内存虚拟化共享物理系统内存，动态分配给虚拟机。虚拟机的内存虚拟化很象现在的操作系统支持的虚拟内存方式，应用程序看到邻近的内存地址空间，这个地址空间无需和下面的物理机器内存直接对应，操作系统保持着虚拟页到物理页的映射。现在所有的 x8
阅读全文
摘要：半虚拟化驱动 5.1.1 virtio概述 KVM是必须使用硬件虚拟化辅助技术（如Intel VT-x、AMD-V）的hypervisor，在CPU运行效率方面有硬件支持，其效率是比较高的；在有Intel EPT特性支持的平台上，内存虚拟化的效率也较高。QEMU/KVM提供了全虚拟化环境，可以让客户
阅读全文
摘要：自打引入CAP理论的十几年里，设计师和研究者已经以它为理论基础探索了各式各样新颖的分布式系统，甚至到了滥用的程度。NoSQL运动也将CAP理论当作对抗传统关系型数据库的依据。 CAP理论主张任何基于网络的数据共享系统，都最多只能拥有以下三条中的两条： 数据一致性（C），等同于所有节点访问同一份最新的
阅读全文
摘要：Linux在系统运行时修改内核参数(/proc/sys与/etc/sysctl.conf)，而不需要重新引导系统，这个功能是通过/proc虚拟文件系统实现的。 在/proc/sys目录下存放着大多数的内核参数，并且设计成可以在系统运行的同时进行更改, 可以通过更改/proc/sys中内核参数对应的文
阅读全文
摘要：在目前的Mysql数据库中，使用最广泛的是innodb存储引擎。innodb确实是个很不错的存储引擎，就连高性能Mysql里都说了，如果不是有什么很特别的要求，innodb就是最好的选择。当然，这偏文章讲的是TokuDB，不是innodb，相比innodb，TokuDB有着自己的特点。 BTree和
阅读全文
摘要：在四月份的Percona Live MySQL会议上， TokuDB庆祝自己成为开源存储引擎整一周年。我现在仍能记得一年前它刚创建时的官方声明与对它的期望。当时的情况非常有意思，因为它拥有帮助MySQL管理大数据的潜力，而这是InnoDB无法做到的。TokuDB还有一些有意思的特性，比如”热模式转换
阅读全文
