future2012lg

摘要： 写在前面：最早接触的MySQL是在三年前，那时候MySQL还是4.x版本，很多功能都不支持，比如，存储过程，视图，触发器，更别说分布式事务等复杂特性了。但从5.0(2005年10月)开始，MySQL渐渐步入企业级数据库的行列了；复制、集群、分区、分布式事务，这些企业级的特性，使得现在的MySQL，完全可以应用于企业级应用环境(很多互联网公司都用其作为数据库服务器，尽管节约成本是一个因素，但是没有强大功能作后盾，则是不可想象的)。虽然，MySQL还有很多不足，比如，复制、分区的支持都十分有限、查询优化仍需要改进，但是MySQL已经是一个足够好的DBMS了，更何况它是opensource的。这段时 阅读全文

摘要： 写在前面：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传输时间)，则总共需要100s(但实际上要好很多很多)。如果对之建立B-Tree索引，则只需要进行log100(10^6)=3次页面读取，最坏情况下耗时30ms。这就是索引带来的效果，很多时候，当你的应用程序进行 阅读全文

摘要： 转载：http://www.cnblogs.com/hustcat/archive/2009/12/24/1631674.html1、并行数据库1.1、并行数据库的体系结构并行机的出现，催生了并行数据库的出现，不对，应该是关系运算本来就是高度可并行的。对数据库系统性能的度量主要有两种方式：(1)吞吐量(Throughput)，在给定的时间段里所能完成的任务数量；(2)响应时间(Response time)，单个任务从提交到完成所需要的时间。对于处理大量小事务的系统，通过并行地处理许多事务可以提高它的吞吐量。对于处理大事务的系统，通过并行的执行事务的子任务，可以缩短系统晌应时间。并行机有三种基本 阅读全文

摘要： 网上有不少mysql 性能优化方案，不过，mysql的优化同sql server相比，更为麻烦与负责，同样的设置，在不同的环境下 ，由于内存，访问量，读写频率，数据差异等等情况，可能会出现不同的结果，因此简单地根据某个给出方案来配置mysql是行不通的；可以列出MySQL服务器运行各种状态值，另外，查询MySQL服务器配置信息语句：mysql> show variables;一、慢查询mysql> show variables like ‘%slow%‘;+------------------+-------+| Variable_name | Value |+---------- 阅读全文

摘要： 对于处理数据库海量数据的存储，也可以采用以下的方法处理；主要是针对CSV等格式的外部文件。1. csv的结构，每个字段以什么为分割2. external table的创建3. 如何实现外部表访问外部文件，并显示在数据库里面例如 有一个外部文件名字为temptes.csv文件内容如下：sunny,85,85,FALSE,nosunny,80,90,TRUE,noovercast,83,86,FALSE,yesrainy,70,96,FALSE,yesrainy,68,80,FALSE,yesrainy,65,70,TRUE,noovercast,64,65,TRUE,yessunny,72,95 阅读全文

摘要： linux grep命令1.作用Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。2.格式grep [options]3.主要参数[options]主要参数：－c：只输出匹配行的计数。－I：不区分大 小写(只适用于单字符)。－h：查询多文件时不显示文件名。－l：查询多文件时只输出包含匹配字符的文件名。－n：显示匹配行及 行号。－s：不显示不存在或无匹配文本的错误信息。－v：显示不包含匹配文本的所有行。pattern 阅读全文

摘要： 引言：首先说明并行技术属于大数据范畴，适合OLAP系统，在任务分割、数据块分割、资源充裕的场合应用较广，本次分享主要概括并行原理、实际应用、性能对比、并行直接加载、索引属性、特点小结等六个小点去重点阐述。下面的测试是我的笔记，这些笔记也参考了《让oracle跑的更快2》作者：谭怀远 一书的引导，在此向谭总表示感谢，向帮助过我们的人表示感谢 zhixiang yangqiaojie等好友一、简单介绍OLTP和OLAP系统的特点小结答：OLTP和OLAP是我们大家在日常生产库中最常用到的2种系统，简单的说OLTP是基于多事务短时间片的系统，内存的效率决定了数据库的效率。OLAP是基于大数据集长时间 阅读全文

摘要： 总结得出以下3点结论：a、非归档模式下，只需append就能大量减少redo的产生；归档模式下，只有append+nologging才能大量减少redo。b、insert /*+ append */ 时会对表加锁（排它锁），会阻塞表上的除了select以外所有DML语句；传统的DML在TM enqueue上使用模式3（row exclusive），其允许其他DML在相同的模式上获得TM enqueue。但是直接路径加载在TM enqueue使用模式6（exclusive），这使其他DML在直接路径加载期间将被阻塞。c、insert /*+ append */ 直接路径加载，速度比常规加载方式快 阅读全文

摘要： 数据库水平切分的实现原理解析－－－分库，分表，主从，集群，负载均衡器第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；通过读写分离策略更是最大限度了提高了应用中读取（ 阅读全文

摘要： my.ini（Linux系统下是my.cnf），当mysql服务器启动时它会读取这个文件，设置相关的运行环境参数。 my.ini分为两块：Client Section和Server Section。 Client Section用来配置MySQL客户端参数。 要查看配置参数可以用下面的命令：show variables like '%innodb%'; # 查看innodb相关配置参数show status like '%innodb%'; # 查看innodb相关的运行时参数（比如当前正在打开的表的数量，当前已经打开的表的数量）show global stat 阅读全文