摘要：mysql为我们提供了两个类型转换函数：CAST和CONVERT，现成的东西我们怎能放过？BINARY[(N)]CHAR[(N)]DATEDATETIMEDECIMALSIGNED [INTEGER]TIMEUNSIGNED [INTEGER]例子：--使用CAST将varchar转换成int类型排序select server_id from cardserver where game_id = 1 order by CAST(server_id as SIGNED) desc limit 10;--使用CONVERT将varchar转换成int类型排序select server_id fro 阅读全文

摘要：MySQL 获得当前日期时间 函数获得当前日期+时间（date + time）函数：now()mysql> select now();+---------------------+| now() |+---------------------+| 2008-08-08 22:20:46 |+---------------------+获得当前日期+时间（date + time）函数：sysdate()sysdate() 日期时间函数跟 now() 类似，不同之处在于：now() 在执行开始时值就得到了， sysdate() 在函数执行时动态得到值。看下面的例子就明白了：mysql> 阅读全文

摘要：使用 MySQL自带命令 mysqldumpslow 查看OPTIONS-s ORDER ORDER, 主要有 c, t, l, r 和 ac, at, al, ar, 分别是按照 query次数, 时间, lock的时间和返回的记录数来排序, 前面加了a时倒序.-t NUM top NUM, 即为返回前面多少条的数据.-g PATTERN grep: 后边可以写一个正则匹配模式, 大小写不敏感例子#查看访问次数最多的 20 个 sql 语句[root@localhost ~]# mysqldumpslow -s c -t 20 /usr/local/mysql/var/mysql_slow_ 阅读全文

摘要：memcache的Java客户端调用，在网上还是有些少，很多都是php的。如何要想用Java调用memcache的服务，首先要有客户端的支持，我们先下载一个客户端吧。下载地址：https://github.com/gwhalin/Memcached-Java-Client。点击下图的“下载”图标。得到java_memcached-release_2.5.3.jar文件，将其添加到项目的classpath中。下面就利用利用memcached java client来建立一个简单的应用一个简单的应用。代码如下(自于java_memcached-release_2.5\doc\HOWTO.txt里面 阅读全文

摘要：memcached最吸引人的地方主要在于它的分布式。分布式对于互联网应用来讲，按照用途基本上可划分为三种方式：分布式计算、分布式存储和两者兼而有之。memcached是分布式存储的一种。我们常见的分布式存储大多数是将N台设备（server或者单独的存储）构建成盘阵，而memcached旨在构建一个高速的内存池。更通俗一点来讲：分布式计算是将N颗cpu组装成一颗cpu，分布式慢速存储是将N个硬盘组装成一个大硬盘，memcached是将N块内存组装成一块大内存。 有个朋友问：那是不是代价很昂贵啊。我的回答是肯定的。如果你的网站规模只有三两台服务器的话，我觉得你就不用考虑这样的方案了，等你的网站做大 阅读全文

摘要：背景 memcached是一个高性能、分布式的内存对象缓存系统。 memcached广泛应用在大负载高并发的网站上，是一种非常成熟的产品（称为一项技术也未尝不可）。像facebook，youtube,yahoo,sina，sohu，netease，豆瓣等网站均或多或少使用了该项产品。memcached在以用户为中心的网站上，表现尤其突出，例如sns,blog等web2.0应用的站点。这些站点一般来讲，特别注重用户体验，用户对服务器的响应速度要求很高，用户数据相对比较复杂、关连度比较高，需要经常对数据库进行更新和检索。 memcache是danga.com几个开源项目中的一个，最初是专门为liv 阅读全文

摘要：memcache是高性能，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。据说官方所说，其用户包括twitter、digg、flickr等，都是些互联网大腕呀。目前用memcache解决互联网上的大用户读取是非常流行的一种用法。下载安装下载了，我到了其官方（http://memcached.org/），目前最新的下载版本是1.4.5还要再安装libevent这个软件，从官方（http://monkey.org/~provos/libevent/）下载，目前最新的稳定版是1.4.14。下载后，将其上传到了/home/blue/下面执行以下命令cd /home/blueta 阅读全文

摘要：列式数据库介绍列式数据库是以列相关存储架构进行数据存储的数据库，主要适合与批量数据处理和即席查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合与小批量的数据处理，常用于联机事务型数据处理。列式数据库以行、列的二维表的形式存储数据，但是却以一维字符串的方式存储，例如以下的一个表：EmpIdLastnameFirstnameSalary1SmithJoe400002JonesMary500003JohnsonCathy44000这个简单的表包括员工代码(EmpId), 姓名字段(Lastname and Firstname)及工资(Salary).这个表存储在电脑的内存( 阅读全文

摘要：需求250M entities, entities表共有2.5亿条记录，当然是分库的。典型解决方案:RDBMS问题：由于业务需要不定期更改表结构，但是在2.5亿记录的表上增删字段、修改索引需要锁表，最长需要1小时到1天以上。Key value方案评估Document类型数据库，如CouchDBCouchDB问题：Performance？ 广泛使用？ 稳定性？ 抗压性？MySQL方案MySQL相比Document store优点：不用担心丢数据或数据损坏Replication非常熟悉它的特性及不足，知道如何解决结论综合取舍，使用MySQL来存储key/value(schema-less)数据,v 阅读全文

摘要：众所周知，互联网DBA与传统行业DBA有很大的不同，那就是管理的机器多，新技术更新快，面对的开发多、网络环境复杂、要求7*24待机；这样就 导致互联网DBA的工作在传统DBA工作之上，增加了更多的复杂性，我们必须考虑如何大批量部署，如何集中化监控、如何解决单点故障而保障7*24，而为 了做到这些，不是靠堆人力，我们必须有一个完整的平台作为支撑，那么数据库平台到底要建成什么样子呢？1、强有力的监控系统（监+控）：监控是我们的眼睛，我们不可能7*24个小时盯着我们的DB，所以，我们需要监控系统来帮我们盯着，一旦异常，监控不仅仅通知我们，而必须要有控 制，例如：MySQL 从库宕机了我们通过监控自动 阅读全文

摘要：php中mysql_pconnect()的实现方式：其实mysql_pconnect()本身并没有做太多的处理，它唯一做的只是在php运行结束后不主动close掉mysql的连接。mysql_pconnect()与mysql_connect()的区别包括：cgi方式下：在php经cgi方式运行时pconnect和connect是基本没有区别的，因为cgi方式是每一个php访问起一个进程，访问结束后进程也就结束了，资源也全释放了。apache模块方式下:区别在于当php以apache模块方式运行时, 由于apache有使用进程池, 一个httpd进程结束后会被放回进程池, 这也就使得用pconn 阅读全文

摘要：本文来自Redis在Google Group上的一个问题，有一位同学发贴求助，说要解决如下的一个问题：他有一个IP范围对应地址的列表，现在需要给出一个IP的情况下，迅速的查找到这个IP在哪个范围，也就是要判断此IP的所有地。这个问题引来了Redis作者Salvatore Sanfilippo（@antirez）的回答。解答如下：例如有下面两个范围，10－20和30－40A_start 10, A_end 20B_start 30, B_end 40我们将这两个范围的起始位置存在Redis的Sorted Sets数据结构中，基本范围起始值作为score，范围名加start和end为其value值 阅读全文

摘要：此文的作者是新浪微博平台架构师杨卫华（timyang）大师，如果关注了新浪一些牛人微博的同学应该知道，timyang前段时间正在对Redis进行一些研究和测试，也分享出了不少成果。下面一篇文章相信是timyang这段时间对Redis研究的一个总结，澄清了一些认识上的误区，值得一读。原文链接：http://timyang.net/data/redis-misunderstanding/前几天微博发生了一起大的系统故障，很多技术的朋友都比较关心，其中的原因不会超出James Hamilton在On Designing and Deploying Internet-Scale Service(1)概 阅读全文

摘要：在使用Redis过程中，我们发现了不少Redis不同于Memcached，也不同于MySQL的特征。(本文主要讨论Redis未启用VM支持情况)1. SchemaMySQL: 需事先设计Memcached: 无需设计Redis: 小型系统可以不用，但是如果要合理的规划及使用Redis，需要事先进行类似如下一些规划数据项: value保存的内容是什么，如用户资料Redis数据类型: 如String, List数据大小: 如100字节记录数: 如100万条(决定是否需要拆分)⋯⋯上面的规划就是一种schema，为什么Redis在大型项目需要事先设计schema？因为Redis服务器有容量限制，数据 阅读全文

摘要：Redis提供了丰富的数据类型，比起关系型数据库或者简单的Key-Value存储（比如Memcached）来，Redis的数据模型与实际应用的数据模型更相近。比如下面说到的好友关系的存储，原作者使用了Redis的 Sets（集合）数据结构。具体存储方式如下：对于每一个用户，其关注关系存储两份列表，一份为此用户关注的人的UID列表，另一份为此用户粉丝的UID列表，这两个列表都使用Sets（集合）。比如对于用户ID为123的用户，graph:user:123:following 保存的是其关注人的列表，graph:user:1:followed_by 保存的是关注他的人的列表。下面是一个PHP代码 阅读全文

摘要：丰富的数据结构使得redis的设计非常的有趣。不像关系型数据库那样，DEV和DBA需要深度沟通，review每行sql语句，也不像memcached那样，不需要DBA的参与。redis的DBA需要熟悉数据结构，并能了解使用场景。下面举一些常见适合kv数据库的例子来谈谈键值的设计，并与关系型数据库做一个对比，发现关系型的不足之处。用户登录系统记录用户登录信息的一个系统， 我们简化业务后只留下一张表。关系型数据库的设计mysql> select * from login;+---------+----------------+-------------+------------------- 阅读全文

摘要：毫无疑问，Redis开创了一种新的数据存储思路，使用Redis，我们不用在面对功能单调的数据库时，把精力放在如何把大象放进冰箱这样的问题上，而是利用Redis灵活多变的数据结构和数据操作，为不同的大象构建不同的冰箱。希望你喜欢这个比喻。下面是一篇新鲜出炉的文章，其作者是Redis作者@antirez，他描述了Redis比较适合的一些应用场景，NoSQLFan简单列举在这里，供大家一览：1.取最新N个数据的操作比如典型的取你网站的最新文章，通过下面方式，我们可以将最新的5000条评论的ID放在Redis的List集合中，并将超出集合部分从数据库获取使用LPUSH latest.comments命 阅读全文

摘要：众所周知,Redis是一个内存数据库,和Memcached类似,所有数据存在内存中,当然,Redis有rdb和appendonlyfile两个落地文件,可以对断电停机等故障下的数据恢复做一些保证.但是到2.0版本之前,Redis的所有数据在运行时都完全是内存读写.然而在可见的未来,Redis的官网上已经有关于2.0最重要功能的预告,那就是RedisVirtual Memory.在2.0的测试版本中已经包含VM的测试版代码,但实际上此功能已经比较成熟.使用方法是将配置文件中的vm-enabled参数设置为yes简单来说,Redis Virtual Memory就是Redis将支持一些选项,通过配 阅读全文

摘要：Redis常用数据类型Redis最为常用的数据类型主要有以下五种：StringHashListSetSorted set在具体描述这几种数据类型之前，我们先通过一张图了解下Redis内部内存管理中是如何描述这些不同数据类型的：首先Redis内部使用一个redisObject对象来表示所有的key和value,redisObject最主要的信息如上图所示：type 代表一个value对象具体是何种数据类型，encoding是不同数据类型在redis内部的存储方式，比如：type=string代表value存 储的是一个普通字符串，那么对应的encoding可以是raw或者是int,如果是int则 阅读全文

摘要：前言除了常规的Join语句之外，还有一类Query语句也是使用比较频繁的，那就是ORDERBY，GROUP BY以及DISTINCT这三类查询。考虑到这三类查询都涉及到数据的排序等操作，所以我将他们放在了一起，下面就针对这三类Query语句做基本的分析。ORDER BY 的实现与优化在MySQL中，ORDERBY的实现有如下两种类型：一种是通过有序索引而直接取得有序的数据，这样不用进行任何排序操作即可得到满足客户端要求的有序数据返回给客户端；另外一种则需要通过MySQL的排序算法将存储引擎中返回的数据进行排序然后再将排序后的数据返回给客户端。下面我们就针对这两种实现方式做一个简单的分析。首先. 阅读全文