zping - 博客园

2019年7月31日

摘要：目前公司有一套核心交易数据库配置了AlWaysON，SQL 2012版本， 1主4从，其从库(8,14, 8.15) 这2台只读的从数据库服务器，后台程序和wms等很多程序，都是直接配置IP连接这个2个机器，而且这2台机器已经过保，如果其中一天机器出现故障，不能使用，怎么处理？怎么解决？先谈阅读全文

posted @ 2019-07-31 20:05 zping 阅读(789) 评论(2) 推荐(3) 编辑

Hbase架构与原理（转）

摘要： Hbase架构与原理 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoo 阅读全文

posted @ 2019-07-31 15:00 zping 阅读(383) 评论(0) 推荐(0) 编辑

2019年7月30日

Hbase的表结构中rowkey的设计---避免热点问题

摘要：热点问题 hbase 中的行是以 rowkey 的字典序排序的，这种设计优化了scan 操作，可以将相关的行以及会被一起读取的行存取在临近位置，便于 scan 。然而，糟糕的 rowkey 设计是热点的源头。热点发生在大量的客户端直接访问集群的一个或极少数节点。访问可以是读，写，或者其阅读全文

posted @ 2019-07-30 15:29 zping 阅读(1086) 评论(0) 推荐(0) 编辑

mysql之my.cnf详解

摘要：值，如果该值为0，则默认值为max_binlog_size(1G)；如果不为0，则max_relay_log_size则为最大的relay_log文件大小； relay-log-purge = 1 #是否自动清空不再需要中继日志时。默认值为1(启用) expire_logs_days = 30 #超过 30 天的 binlog 删除 binlog_cache_size = 1M # 在一个事务中... 阅读全文

posted @ 2019-07-30 11:12 zping 阅读(1300) 评论(0) 推荐(0) 编辑

2019年7月23日

MongoDB CPU利用率很高，怎么破（转）

摘要：经常有用户咨询：MongoDB CPU 利用率很高，都快跑满了，应该怎么办？遇到这个问题，99.9999% 的可能性是「用户使用上不合理导致」，本文主要介绍从应用的角度如何排查 MongoDB CPU 利用率高的问题。 Step1: 分析数据库正在执行的请求用户可以通过 Mongo Shell 阅读全文

posted @ 2019-07-23 11:07 zping 阅读(749) 评论(0) 推荐(0) 编辑

2019年7月19日

测试MongoDB的自动分片

摘要： MongoDB的自动分片： test库分片配置： db.shards.find(){ "_id" : "shard0000", "host" : "127.0.0.1:29017", "state" : 1 }{ "_id" : "shard0001", "host" : "127.0.0.1:29 阅读全文

posted @ 2019-07-19 14:53 zping 阅读(651) 评论(0) 推荐(0) 编辑

详解MongoDB中的多表关联查询（$lookup） (转)

摘要：一. 聚合框架聚合框架是MongoDB的高级查询语言，它允许我们通过转换和合并多个文档中的数据来生成新的单个文档中不存在的信息。聚合管道操作主要包含下面几个部分： $lookup 在本篇幅中，我们聚焦$lookup的使用。二. $lookup的功能及语法 1. 主要功能是将每个输入待处理的文阅读全文

posted @ 2019-07-19 13:25 zping 阅读(1133) 评论(0) 推荐(0) 编辑

2019年7月18日

mongodb移除分片和添加分片（转）

摘要：首先我们要移除的分片之后再次添加此分片时会出现添加失败的情况，需要在添加的分片上登录进行删除此分片之前数据库的历史数据比如testdb，删除分片上的数据库之后就可重新添加此分片到mongos中1、执行RemoveShard命令 db.runCommand( { removeshard: "your_ 阅读全文

posted @ 2019-07-18 18:02 zping 阅读(621) 评论(0) 推荐(0) 编辑

2019年7月17日

MongoDB 分片的原理、搭建、应用（转）

摘要：一、概念：分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。阅读全文

posted @ 2019-07-17 20:42 zping 阅读(6388) 评论(0) 推荐(0) 编辑

mongodb 常见问题处理方法收集

摘要：问题1：非正常关闭服务或关机后 mongod服务无法正常启动在使用中发现mongodb 的服务可能因为非正常关闭而启动不了，这时我们通过删除data目录下的 *.lock文件，再运行下/mongodb_binpath/mongod -repair -f config文件路径再启动即可也可以在阅读全文

posted @ 2019-07-17 16:11 zping 阅读(1482) 评论(0) 推荐(0) 编辑

MongoDB 分片问题汇总

摘要：分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用. 1.分片简介分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能强大的大型计算机就可以存储更多的数据,处理更大的负载. 使用几乎所有数据库软件都能阅读全文

posted @ 2019-07-17 11:39 zping 阅读(930) 评论(0) 推荐(0) 编辑

mongodb 安装pymongo 驱动

摘要：下载驱动包： https://pypi.org/project/pymongo/ 解压： tar zxvf pymongo-3.8.0.tar.gz 安装： python setup.py install 测试python环境中与monogdb的交互。阅读全文

posted @ 2019-07-17 11:32 zping 阅读(330) 评论(0) 推荐(0) 编辑

MongoDB/备份

摘要： mongodump：在MongoDB中我们使用mongodump命令来备份MongoDB数据。该命令可以导出所有数据到指定目录中。 ./bin/mongodump -h dbhost -d dbname -o yourdirectory ./bin/mongodump --host mongodb 阅读全文

posted @ 2019-07-17 00:11 zping 阅读(166) 评论(0) 推荐(0) 编辑

MapReduce in MongoDB

摘要：在这篇文章里面，我们会演示如何在 MongoDB 中使用 MapReduce 操作。我们会用 dummy-json 这个包来生成一些虚假的数据，然后用 Mongojs 如果想要快速看到结果，可以到这里里看看。什么是 MongoDB ? MongoDB 是一个 NoSQL 数据库，不像 MyS 阅读全文

posted @ 2019-07-17 00:05 zping 阅读(203) 评论(0) 推荐(0) 编辑

MongoDB/聚合/MR

摘要：管道与Aggregation：文档结构如下： { "_id" : 1, "item" : "abc", "price" : 10, "quantity" : 2, "date" : ISODate("2014-03-01T08:00:00Z") } { "_id" : 2, "item" : "j 阅读全文

posted @ 2019-07-17 00:02 zping 阅读(316) 评论(0) 推荐(0) 编辑

公告