随笔分类 - 数据库
sql,Nosql
摘要:https://tech.meituan.com/2016/03/31/spark-in-meituan.html 本文已发表在《程序员》杂志2016年4月期。 前言 美团是数据驱动的互联网服务,用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志,这些日志数据将被汇总处理、分析、挖掘与学习
阅读全文
摘要:1.登录:redis-cli -h 127.0.0.1 -p 6380 -a passwd 2.清除所有数据:flushall 3.查看key的数目:DBSIZE 4.HMSET能修改单个field HMSET test_1 name zj age 20 prov bj HMSET test_1 n
阅读全文
摘要:http://haixun.olidu.com/probase.html A Data Driven Semantic Network for Text Understanding Probase is a data driven semantic network that consists of
阅读全文
摘要:https://www.ibm.com/developerworks/cn/java/j-lo-neo4j/ Neo4j 是一个高性能的 NoSQL 图形数据库。Neo4j 使用图(graph)相关的概念来描述数据模型,把数据保存为图中的节点以及节点之间的关系。很多应用中数据之间的关系,可以很直接地
阅读全文
摘要:http://irfen.me/redis-learn-10-time-expire-limit-cache/ 过期时间 之前应该提到过 redis 的特性之一是可以设置键的超时时间。命令是expire。 EXPIRE命令返回1表示成功,返回0表示键值不存在或设置失败。 同时这里还有一个比较常用的命
阅读全文
摘要:http://blog.csdn.net/cleanfield/article/details/6339428用户信息表(t_user_info)字段名称字节数类型描述User_id4uint32用户编号(主键)User_name20Char[20]名称Msg_count4uint32发布消息数量,...
阅读全文
摘要:搭建mongodb分片http://gong1208.iteye.com/blog/1622078Sharding分片概念这是一种将海量的数据水平扩展的数据库集群系统,数据分表存储在sharding的各个节点上,使用者通过简单的配置就可以很方便地构建一个分布式MongoDB集群。MongoDB的数据...
阅读全文
摘要:可伸缩性架构常用技术——之数据切分(Data Sharding/Partition)1简介本来想写一篇可伸缩性架构方面的文章,发现东西太多了,久久未能下笔,这里首先把大家最关注的数据切分(Partition/Sharding)方面的内容先写完,给大家参考。我们知道,为了应对不断增长的数据,我们对数据...
阅读全文
摘要:http://tech.it168.com/a2011/0416/1178/000001178961_all.shtml【IT168 资讯】万丈高楼拔地起,高楼的成败取决于是否有一个好的地基。而一个系统的成败则取决于架构设计的优劣。当外部事物让公司项目失败,好的架构可以避免或减少损失,反之,一个不好...
阅读全文
摘要:大规模数据库的性能改善方法之一数据分割http://blog.sina.com.cn/s/blog_803d9ba90100xg25.html1、引言随着计算机应用领域的拓展和计算机硬件性能的提高,企业对数据保存量的要求不断提高。今天,企业所保存的数据量可能是几百个GB,甚至是几个TB,我们把这种数...
阅读全文
摘要:数据库水平拆分和垂直拆分区别(以mysql为例)数据库水平拆分和垂直拆分区别(以mysql为例)案例: 简单购物系统暂设涉及如下表:1.产品表(数据量10w,稳定)2.订单表(数据量200w,且有增长趋势)3.用户表 (数据量100w,且有增长趋势)以mysql为例讲述下水平拆分和垂直拆分,mys...
阅读全文
摘要:http://www.zhihu.com/question/19719997提问:如何设计或优化千万级别的大表?此外无其他信息,个人觉得这个话题有点范,就只好简单说下该如何做,对于一个存储设计,必须考虑业务特点,收集的信息如下:1.数据的容量:1-3年内会大概多少条数据,每条数据大概多少字节;2.数...
阅读全文
摘要:MySQL优化案例Mysql5.1大表分区效率测试Mysql5.1大表分区效率测试MySQL | add at 2009-03-27 12:29:31 by PConline | view:60, comment:0mysql5.1开始支持数据表分区了,原来的分表可以不用了,分表的不足在于多表查询不...
阅读全文
摘要:http://www.169it.com/article/3219955334.html sql语句使用基本原则:1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致...
阅读全文
摘要:简述:本文内容主要 Giuseppe Maxia 曾在Mysql Conference & Expo 2010发表关于 经由整理后的内容,原文在下面的Presentation URL,本文用于自身学习 。我自身关于分区与未分区的测试,打算发表于另一篇博文。Giuseppe Maxia Bloght...
阅读全文
摘要:mysqlPartition(分区)初探表数据量大的时候一般都考虑水平拆分,即所谓的sharding.不过mysql本身具有分区功能,可以实现一定程度 的水平切分.mysql是具有MERGE这种引擎的,就是把一些结构相同的MyIASM表作为一个表使用,但是我觉得 MERGE不如partition实用...
阅读全文
摘要:http://blog.csdn.net/binger819623/article/details/5280267一、 分区的概念二、 为什么使用分区?(优点)三、 分区类型四、 子分区五、 对分区进行修改(增加、删除、分解、合并)六、 不同引擎的分区特性七、 分区的限制性分区概念分区...
阅读全文
摘要:Mongodb基本的原则是:条件句是内层文档的键,修改器是外层文档的键【即,修改器要修改的字段声明在修改器内部】。1、$size,用于查询数组大小为size的记录db.a.find({"comments":{"$size":3}})表示查询comments数组中含有三个元素的记录。既然size可以查...
阅读全文
摘要:MongoDB基本使用成功启动MongoDB后,再打开一个命令行窗口输入mongo,就可以进行数据库的一些操作。输入help可以看到基本操作命令:show dbs:显示数据库列表show collections:显示当前数据库中的集合(类似关系数据库中的表)show users:显示用户use :切...
阅读全文
摘要:一、Mongodb数据更新命令Mongodb更新有两个命令:update、save。1.1update命令update命令格式:db.collection.update(criteria,objNew,upsert,multi)参数说明:criteria:查询条件objNew:update对象和一些...
阅读全文