随笔分类 - database
摘要：neo4j作为图数据库，非常适合于保存各种关系。我们可以自定义各种关系，链接各个node 在mysql里非常非常难以实现的，朋友的朋友，朋友的朋友的朋友。。。这种，在neo4j里只需要把几种关系拼接既得 适用场景：基于关系的推荐系统
阅读全文
摘要：less /var/log/cassandra/system.log 这个时候其实是cassandra检测到commit log不一致，如果conf里commit_failure_policy: stop，就会停下来 如果忽略这个错误，改为commit_failure_policy: ignore
阅读全文
摘要：新集群，要事先规划好initial_token并在每台设好cassandra.yaml，计算工具有很多比如 this 已有集群添加节点 需要在新节点执行nodetool repair 之后在其他老节点执行nodetool cleanup
阅读全文
摘要：已经启动过的node，如果改了配置的clustername，再启动就会报错 org.apache.cassandra.exceptions.ConfigurationException: Saved cluster name Test Cluster != configured name xxx 这
阅读全文
摘要：借助于hdfs（具体可参考 搭建hadoop），再搭建hbase就十分方便 hbase需要hdfs，zookeeper。所以自建一个zk server 环境： master：主机名/ip都是master d1-d3：主机名/ip分别是d1-d3，统称为ds zk在d1上 以下操作均在master上完
阅读全文
摘要：utf8是三字节一个字符，而emoj表情是四子节，所以需要将字符集变更为utf8mb4。后者对utf8是兼容的。 对于已有数据的生产库，变更流程如下： 非常重要！不要在繁忙时段操作，否则锁表的后果不可预计
阅读全文
摘要：程序异常如下：Caused by: com.datastax.driver.core.exceptions.WriteTimeoutException: Cassandra timeout during write query at consistency LOCAL_ONE (1 replica
阅读全文
摘要：cassandra比较智能，需要做的工作不多。 A：10..1 单节点cluster B：10..2 需要加入的新机器 步骤：
阅读全文
摘要：一个不是很大的表，由数据分析部门生成并用于业务。由于代码发了新版需要第一次运行，所以在业务低峰期让数据部门执行了，逻辑是先truncate再insert重建。由于一直以来都没问题，觉得不会出错。结果过一会儿悲剧了，告警来了，app首页空白。。。 这种牵一发而动全局的故障，基本都是mysql引起。先看
阅读全文
摘要：基本上，我们的数据库实例每次cpu飙升都是因read而起，很少有write导致的cpu高。这说明read，随机读，排序，都会占用cpu。而写入主要是io行为，尤其是顺序写，不需要占cpu。 今次问题，rds在三个小时内都很高，始终维持50+，最高甚至到98 。当然我们的业务可用性并不依赖rds。 观
阅读全文
摘要：背景 随着公司业务增长，关系型数据库表慢慢会增长到很大的量，如果不能清理数据的话就需要面对大表CRUD，这是公司成长过程的共同考验 解决方案 根据我的个人经验，目前主要有3种比较主流的方法 垂直分表：将表的字段拆分到新表，常用字段留下，少用字段做关联查询。属于冷热分离 水平分表：将表复制多份，结构一
阅读全文
摘要：例如本地utc，目标时区沙特 utc+3，则 结果
阅读全文
摘要：我曾做过专业传统DBA，关系型数据库基本都碰过。最近两年兼职管理下数据库，现在互联网公司基础架构都在云上，没有传统意义dba了。 比起过去rdbms一统天下，如今“数据库”这个概念已经比较广泛了，包括关系型，nosql，缓存，大数据等。所以能力上对开发者和管理者就提出更全面的要求，即便不能门门精通，
阅读全文
摘要：我司实例，peak 11w write_per_second，3台做集群 cassadra集群是一台写入后，复制到其他节点上。所以如果单台的话，会更高 write是列数据库的优势
阅读全文