随笔- 807 文章- 150 评论- 23 阅读- 151万

08 2019 档案

摘要：数据库执行drop table XXX后，查看du -sh 已下降，但df -h /pgdb没有减少，是有还有进程使用对应的文件句柄 1.通过表名确认文件ID 2.确认使用文件ID的进程是否可以删除 3.删除对应进程 4.数据库drop 对应的表 1 drop table table_name; 1 阅读全文

posted @ 2019-08-28 20:00 xibuhaohao 阅读(1715) 评论(0) 推荐(0) 编辑

PostgreSQL 查看表、索引等创建时间

摘要：select s.oid,s.relname,t.stausename,t.stasubtype from pg_class s,pg_stat_last_operation t where s.relname='XXXX' and t.objid=s.oid; 阅读全文

posted @ 2019-08-28 17:42 xibuhaohao 阅读(7862) 评论(0) 推荐(0) 编辑

postgresql Kill掉正在执行的SQL语句

摘要：kill方式是杀掉进程，但是有时候需要取消相关SQL语句，采用以下方式一、查看哪些SQL语句正在执行语句如下：SELECT datname,procpid,query_start, current_query,waiting,client_addr FROM pg_stat_activity W 阅读全文

posted @ 2019-08-28 13:52 xibuhaohao 阅读(2469) 评论(0) 推荐(0) 编辑

linux ps命令查看最消耗CPU、内存的进程

posted @ 2019-08-28 09:43 xibuhaohao 阅读(6057) 评论(0) 推荐(0) 编辑

Linux shell - 按时间和文件大小排序显示文件

摘要：在工作中有这样的情况，需要显示所有的文件，按照时间先后或者文件大小先后排序显示命令：ls 1.按时间排序显示文件 1 test@> ll -rt 1 test@> ll -rt 1 test@> ll -rt 1 test@> ll -rt test@> ll -rt 2.按文件大小排序显示文件( 阅读全文

posted @ 2019-08-27 19:42 xibuhaohao 阅读(3173) 评论(0) 推荐(0) 编辑

TPC-H 下载参考

摘要：CSDN免费下载地址 tpc-h-v2.17.3.zip tools https://download.csdn.net/download/zes2014/10558251 阅读全文

posted @ 2019-08-27 15:01 xibuhaohao 阅读(1486) 评论(0) 推荐(0) 编辑

Greenplum failed segment的恢复方法--primary与mirror都可修复

摘要：当在使用greenplum过程中有不当的操作时，可能会出现segment节点宕掉的情况（比如在greenplum运行的过程中停掉其中几台segment节点的服务器），通过下面的方法可以恢复segment。下面是现场出现的故障情况：可以看到有6个节点Failed，有2个节点的Primary和Mir 阅读全文

posted @ 2019-08-27 14:26 xibuhaohao 阅读(2512) 评论(0) 推荐(0) 编辑

ps -ef、ps aux(查看进程占用内存大小)

摘要：Linux下ps -ef和ps aux的区别及格式详解 Linux下显示系统进程的命令ps，最常用的有ps -ef 和ps aux。这两个到底有什么区别呢？两者没太大差别，讨论这个问题，要追溯到Unix系统中的两种风格，System Ｖ风格和BSD 风格，ps aux最初用到Unix Style中，阅读全文

posted @ 2019-08-27 09:20 xibuhaohao 阅读(9572) 评论(0) 推荐(1) 编辑

ElasticSearch 初识ES

posted @ 2019-08-27 09:14 xibuhaohao 阅读(259) 评论(0) 推荐(0) 编辑

新技术学习方法

摘要：阅读全文

posted @ 2019-08-27 09:13 xibuhaohao 阅读(291) 评论(0) 推荐(0) 编辑

TPC-H 测试参考

摘要：https://github.com/digoal/pg_tpch 明天以此为准 https://www.jianshu.com/p/83e670cf3ffb https://yq.aliyun.com/articles/606980 https://yq.aliyun.com/articles/9 阅读全文

posted @ 2019-08-26 17:57 xibuhaohao 阅读(968) 评论(0) 推荐(0) 编辑

TPC-H简介

摘要：TPC-H是事务处理性能委员会（ Transaction ProcessingPerformance Council ）制定的基准程序之一，TPC- H 主要目的是评价特定查询的决策支持能力，该基准模拟了决策支持系统中的数据库操作，测试数据库系统复杂查询的响应时间，以每小时执行的查询数(TPC-H 阅读全文

posted @ 2019-08-26 17:16 xibuhaohao 阅读(5091) 评论(0) 推荐(1) 编辑

TPCH 22条SQL语句分析

摘要：使用TPC-H进行性能测试，需要有很多工作配合才能获得较高性能，如建立索引，表数据的合理分布（使用表空间和聚簇技术）等。本文从查询优化技术的角度，对TPC-H的22条查询语句和主流数据库执行每条语句对应的查询执行计划进行分析，目的在于了解各个主流数据库的查询优化技术，以TPC-H实例进一步掌握查询优阅读全文

posted @ 2019-08-26 17:12 xibuhaohao 阅读(9684) 评论(0) 推荐(1) 编辑

PostgreSQL的 pg_hba.conf 配置参数详解

摘要：pg_hba.conf 配置详解该文件位于初始化安装的数据库目录下编辑 pg_hba.conf 配置文件 postgres@clw-db1:/pgdata/9.6/poc/data> vi pg_hba.conf1 TYPE 参数设置 TYPE 表示主机类型，值可能为：若为 `local` 表示阅读全文

posted @ 2019-08-26 15:30 xibuhaohao 阅读(2397) 评论(0) 推荐(0) 编辑

Linux 命令 ipcs/ipcrm

摘要：ipcs 1. 命令格式 ipcs [resource-option] [output-format] ipcs [resource-option] -i id 2. 命令功能提供IPC设备的信息 3. 使用方法 resource选项： ipcs -m 查看系统共享内存信息 ipcs -q 查看系阅读全文

posted @ 2019-08-26 14:46 xibuhaohao 阅读(498) 评论(0) 推荐(0) 编辑

Linux 命令-egrep

摘要：egrep 可以看着是grep的扩展，参数-e支持正则匹配满足其中任一条件 egrep -e "tiaojian1|tiaojian2" test.txt 阅读全文

posted @ 2019-08-26 14:42 xibuhaohao 阅读(206) 评论(0) 推荐(0) 编辑

Hive ACID和事务表支持详解

摘要：一、ACID介绍 ACID就是常见数据库事务的四大特性：Atomicity(原子性)、Consistency（一致性）、Isolation（隔离性）、Durability（持久性）。在Hive 0.13之前，Hive支持分区级别上原子性、一致性、持久性，隔离性可以通过hive提供的锁机制来实现（通阅读全文

posted @ 2019-08-22 10:41 xibuhaohao 阅读(3077) 评论(0) 推荐(1) 编辑

Cloudera Manager和CDH5.8离线安装

摘要：https://blog.csdn.net/zzq900503/article/details/52982828 简介我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8。CDH5.8是目前比较新的版本，自带hadoop2.0以上的hadoop，而且已经包含了很多组件，也阅读全文

posted @ 2019-08-22 10:00 xibuhaohao 阅读(507) 评论(0) 推荐(0) 编辑

CDH 大数据平台搭建

摘要：一、概述 Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了阅读全文

posted @ 2019-08-22 09:41 xibuhaohao 阅读(1333) 评论(0) 推荐(0) 编辑

HDP 大数据平台搭建

摘要：一、概述 Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可阅读全文

posted @ 2019-08-22 09:39 xibuhaohao 阅读(1320) 评论(0) 推荐(0) 编辑

HDP 企业级大数据平台

摘要：一前言阅读本文前需要掌握的知识： Linux基本原理和命令 Hadoop生态系统（包括HDFS，Spark的原理和安装命令）由于Hadoop生态系统组件众多，导致大数据平台多节点的部署，监控极其不方便，因此一些Hadoop厂商提供了企业发行版，例如CDH，HDP等。这些Hadoop企业发行版将阅读全文

posted @ 2019-08-22 09:33 xibuhaohao 阅读(9017) 评论(0) 推荐(0) 编辑

Apache Kylin在4399大数据平台的应用

摘要：来自：AI前线（微信号：ai-front），作者：林兴财，编辑：Natalie作者介绍：林兴财，毕业于厦门大学计算机科学与技术专业。有多年的嵌入式开发、系统运维经验，现就职于四三九九网络股份有限公司，担任大数据开发工程师，主要负责大数据平台的规划建设。来自：AI前线（微信号：ai-front），作阅读全文

posted @ 2019-08-20 10:42 xibuhaohao 阅读(495) 评论(0) 推荐(0) 编辑

Apache Kylin v3.0.0-alpha 发布

摘要：Apache Kylin v3.0.0-alpha 发布 Apr 19, 2019 • Shaofeng Shi 近日 Apache Kylin 社区很高兴地宣布，Apache Kylin v3.0.0-alpha 正式发布。 Apache Kylin 是一个开源的分布式分析引擎，旨在为极大数据集提阅读全文

posted @ 2019-08-20 10:24 xibuhaohao 阅读(483) 评论(0) 推荐(0) 编辑

Apache Kylin在美团点评的应用

摘要：本文原载自大数据杂谈微信公众号。感谢美团点评工程师高大月撰文并授权转载。高大月，美团点评工程师，Apache Kylin PMC成员，目前主要在美团点评数据平台负责OLAP查询引擎的建设。背景美团点评的OLAP需求大体分为两类：即席查询：指用户通过手写SQL来完成一些临时的数据分析需求。这阅读全文

posted @ 2019-08-20 09:50 xibuhaohao 阅读(463) 评论(0) 推荐(0) 编辑

Kylin 架构模块简介

摘要：Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。阅读全文

posted @ 2019-08-20 08:51 xibuhaohao 阅读(385) 评论(0) 推荐(0) 编辑

Kylin 1 背景、历史与使命

摘要：1.1 背景和历史今天，大数据领域的发展如火如荼，各种新技术层出不穷，整个生态欣欣向荣。作为大数据领域最重要的技术——Apache Hadoop，从诞生至今已有10周年。它最初只是致力于简单的分布式存储，然后在其之上实现大规模并行计算，到如今它已在实时分析、多维分析、交互式分析、机器学习甚至人工智阅读全文

posted @ 2019-08-19 15:53 xibuhaohao 阅读(568) 评论(0) 推荐(0) 编辑

谈MongoDB的应用场景

摘要：转载自：http://blog.csdn.net/adparking/article/details/38727911 MongoDB的应用场景在网上搜索了下，很少介绍关于传统的信息化应用中如何使用MongoDB数据库方面的内容，比较多的还是介绍日志的采集和存储，小文件的分布式存储，类似互联网微博应阅读全文

posted @ 2019-08-16 17:46 xibuhaohao 阅读(954) 评论(0) 推荐(0) 编辑

Linux 内存Cache和Buffer理解

摘要：在 Linux 系统中，我们经常用 free 命令来查看系统内存的使用状态。在一个 RHEL6 的系统上，free 命令的显示内容大概是这样一个状态：这里的默认显示单位是 kb，我的服务器是 128G 内存，所以数字显得比较大。这个命令几乎是每一个使用过 Linux 的人必会的命令，但越是这样的命阅读全文

posted @ 2019-08-16 16:52 xibuhaohao 阅读(1097) 评论(0) 推荐(0) 编辑

Linux 下查看内存使用情况方法总结

摘要：Linux查看CPU和内存使用情况：http://www.cnblogs.com/xd502djj/archive/2011/03/01/1968041.html 在做Linux系统优化的时候，物理内存是其中最重要的一方面。自然的，Linux也提供了非常多的方法来监控宝贵的内存资源的使用情况。下面的阅读全文

posted @ 2019-08-16 16:35 xibuhaohao 阅读(499) 评论(0) 推荐(0) 编辑

mongodb 集群配置文件

摘要：本文档是在mongodb为3.4下编写的，仅作为参考，详细内容请参考：https://docs.mongodb.com/manual/reference/configuration-options/#configuration-file 一.说明配置mongodb有两种方式，一种是通过mongod 阅读全文

posted @ 2019-08-16 15:58 xibuhaohao 阅读(836) 评论(0) 推荐(0) 编辑

MongoDB bindIp 与 bindIpAll

摘要：Linux服务器上安装MongoDB后，允许其它客户端IP访问MongoDB服务器。阿里云服务器需要设置入站规则，可参见使用外网访问阿里云服务器ZooKeeper 1.允许所有地址访问 1.允许所有地址访问 NOTE:net.bindIp and net.bindIpAll are mutually 阅读全文

posted @ 2019-08-16 14:47 xibuhaohao 阅读(10622) 评论(0) 推荐(0) 编辑

MongoDB 权限认证

摘要：user文档字段介绍： user字段，为新用户的名字； pwd字段，用户的密码； cusomData字段，为任意内容，例如可以为用户全名介绍； roles字段，指定用户的角色，可以用一个空数组给新用户设定空角色；在roles字段,可以指定内置角色和用户定义的角色。 Built-In Roles（内阅读全文

posted @ 2019-08-16 14:43 xibuhaohao 阅读(235) 评论(0) 推荐(0) 编辑

MongoDB dataSize如何比storageSize更大？

摘要：原文 https://stackoverflow.com/questions/34054780/how-can-mongodb-datasize-be-larger-than-storagesize 原文 https://stackoverflow.com/questions/34054780/ho 阅读全文

posted @ 2019-08-16 14:42 xibuhaohao 阅读(3442) 评论(0) 推荐(0) 编辑

MongoDB 查看集合的统计信息

摘要：和 RDBMS 一样， MongoDB 同样存储集合的统计信息，通过调用命令 db.collection.stats() 可以方便的查看集合的统计信息。 --1 查看集合 things 的统计信息备注：部分参数解释如下： ns: 集合的命名空间，可以理解为集合名称 count: 集合中的文档总数阅读全文

posted @ 2019-08-15 15:44 xibuhaohao 阅读(14890) 评论(0) 推荐(0) 编辑

MongoDB collection Index DB 大小查询

摘要：1、collection中的数据大小 db.collection.dataSize() 2、为collection分配的空间大小，包括未使用的空间db.collection.storageSize() 3、collection中索引数据大小db.collection.totalIndexSize() 阅读全文

posted @ 2019-08-15 15:00 xibuhaohao 阅读(1603) 评论(0) 推荐(0) 编辑

mongodb 副本集的主的选举--优先级设置

摘要：primary的选举依赖于各个实例的优先权重，默认权重都是1 复本集的主挑选权重最高的，权重一样的无法控制谁为主设置各个实例的优先权重，挑选自己想要的实例为主，只有primary可以更改权重配置 conf = rs.config() #获取副本集的配置，默认权重都是1 conf.members[0 阅读全文

posted @ 2019-08-15 14:22 xibuhaohao 阅读(1305) 评论(0) 推荐(0) 编辑

MongoDB 复制集监控

摘要：1.复制集状态查询：rs.status() 2.查看当前副本集oplog状态：rs.printReplicationInfo() 3.查看复制延迟：rs.printSlaveReplicationInfo() 4.查看服务状态详情：db.serverStatus() 5.查询副本集配置：rs.con 阅读全文

posted @ 2019-08-15 11:35 xibuhaohao 阅读(424) 评论(0) 推荐(0) 编辑

MongoDB 常用操作命令大全

摘要：一、数据库常用命令1、Help查看命令提示复制代码代码如下: helpdb.help();db.yourColl.help();db.youColl.find().help();rs.help(); 2、切换/创建数据库复制代码代码如下: use yourDB; 当创建一个集合(table) 阅读全文

posted @ 2019-08-15 11:35 xibuhaohao 阅读(212) 评论(0) 推荐(0) 编辑

postgreSQL \timing 查看SQL执行时间

摘要：postgreSQL中，关于查询执行时间的\timing的使用阅读全文

posted @ 2019-08-14 10:14 xibuhaohao 阅读(2781) 评论(1) 推荐(0) 编辑

mongoDB sh.status() too many chunks to print

摘要：too many chunks to print, use verbose if you want to force print 想要看到详细的信息则需要执行： mongos> sh.status({"verbose":1}) 或则 mongos> db.printShardingStatus("v 阅读全文

posted @ 2019-08-13 17:53 xibuhaohao 阅读(1401) 评论(0) 推荐(0) 编辑

Oracle 重新编译存储过程/函数等

摘要：第一种如果你使用 PL/SQL Developer工具左侧工具栏中选择“存储过程”-》选择已经失效的procedure-》右键-》选择重新编译即可完成第二种命令行版 1.查找到无效对象 select 'Alter '||object_type||' '||object_name||' co 阅读全文

posted @ 2019-08-13 11:54 xibuhaohao 阅读(8073) 评论(0) 推荐(0) 编辑

为什么 MySQL 索引要使用 B+树而不是其它树形结构？比如 B 树？

摘要：一个问题？ InnoDB一棵B+树可以存放多少行数据？这个问题的简单回答是：约2千万为什么是这么多呢？因为这是可以算出来的，要搞清楚这个问题，我们先从InnoDB索引数据结构、数据组织方式说起。我们都知道计算机在存储数据的时候，有最小存储单元，这就好比我们今天进行现金的流通最小单位是一毛。在阅读全文

posted @ 2019-08-13 11:51 xibuhaohao 阅读(284) 评论(0) 推荐(0) 编辑

Postgresql 进程和内存结构

摘要：在本章中，总结了PostgreSQL中的流程体系结构和内存体系结构，以帮助阅读后续章节。如果您已经熟悉它们，可以跳过本章 1.进程结构 Postgresql 是一个C/S架构的关系型数据库，由多个后台进程管理数据库，下面分别介绍一些这些进程 postgres server process 是所有进程阅读全文

posted @ 2019-08-12 18:03 xibuhaohao 阅读(1404) 评论(0) 推荐(0) 编辑

Postgresql 内存分配

摘要：postgresql的内存分配主要由shared_buffers、temp_buffers、work_mem、maintenance_work_mem参数控制。shared_buffers又可以叫做共享缓冲区，postgresql对数据操作时都要先将数据从磁盘读取到内存中，然后进行更新，最后再将数据阅读全文

posted @ 2019-08-12 18:02 xibuhaohao 阅读(1671) 评论(0) 推荐(0) 编辑

Deepgreen & Greenplum DBA小白普及课之三

摘要：Deepgreen & Greenplum DBA小白普及课之三（备份问题解答）不积跬步无以至千里，要想成为一名合格的数据库管理员，首先应该具备扎实的基础知识及问题处理能力。本文参考Pivotal官方FAQ，对在管理Deepgreen & Greenplum时经常会遇到的问题提出解决思路/答案，本阅读全文

posted @ 2019-08-12 16:33 xibuhaohao 阅读(433) 评论(0) 推荐(0) 编辑

DBA 有哪些工作

摘要：首先，我们看看DBA的工作有哪些？DBA的工作实际上都是围绕数据库展开，包含但不限于这些工作： 1. 数据库、主机、操作系统、交换机、存储选型，预算，架构设计，部署，参数优化； 2. 数据库备份、恢复、容灾、HA、新老硬件更替； 3. 数据库SQL审计、SQL优化、异常问题诊断、性能优化、巡检、健康阅读全文

posted @ 2019-08-12 16:19 xibuhaohao 阅读(751) 评论(0) 推荐(0) 编辑

Deepgreen/Greenplum 删除节点步骤

摘要：Deepgreen/Greenplum删除节点步骤 Greenplum和Deepgreen官方都没有给出删除节点的方法和建议，但实际上，我们可以对节点进行删除。由于不确定性，删除节点极有可能导致其他的问题，所以还行做好备份，谨慎而为。下面是具体的步骤： 1.查看数据库当前状态（12个实例） 2.并行阅读全文

posted @ 2019-08-12 13:56 xibuhaohao 阅读(1363) 评论(0) 推荐(0) 编辑

Greenplum Segment 的检测机制

摘要：Greenplum集群具有较好的容错性和高可用性，其中一点就体现在segment镜像机制上。接下来本文会简单地阐述segment的作用以及segment镜像机制是如何保证GP高可用的。 Segment简介 Greenplum集群由一个Master和多个segment组成 segment用来存储数据阅读全文

posted @ 2019-08-12 13:45 xibuhaohao 阅读(2148) 评论(0) 推荐(0) 编辑

Greenplum FTS故障检测原理

摘要：前言 FTS(Fault Tolerance Serve)是GreenPlum中的故障检测服务，是保证GP高可用的核心功能。GreenPlum的Segment的健康检测及HA是由GP Master实现的，GP Master上面有个专门的进程–FTS进程，它可以快速检测到Primary或者Mirror 阅读全文

posted @ 2019-08-12 13:35 xibuhaohao 阅读(557) 评论(0) 推荐(0) 编辑

PostgreSQL 索引坏块处理

摘要：今天应用反应有张表查询报错，报错信息如下 back=# select max(create_time) from public.tbl_index_table where create_time>='2010-10-08';ERROR: could not read block 41381 of r 阅读全文

posted @ 2019-08-12 09:23 xibuhaohao 阅读(1003) 评论(0) 推荐(0) 编辑

PostgreSQL 恢复大法 - 恢复部分数据库、跳过坏块、修复无法启动的数据库

摘要：转载自：https://yq.aliyun.com/articles/582880 背景一个较大的数据库，如何只恢复一部分数据（例如只恢复某个DB）。如果访问有坏块的表。如何从无法启动的数据库中，恢复到有意义的数据。如何正确的进行备份。如何恢复到过去的某个时间点。恢复部分数据库《Pos 阅读全文

posted @ 2019-08-12 09:19 xibuhaohao 阅读(1971) 评论(0) 推荐(0) 编辑

PostgreSQL物理坏块和文件损坏案例分享

摘要：作者简介王睿操，平安好医数据库架构岗，多年postgresql数据库运维开发工作。曾就职于中国民航信息，迪卡侬。对其他数据库产品也有一定的涉猎。背景笔者最近发现很多朋友经常遇到PostgreSQL坏块或者数据混乱的情况，网上中文资料比较少，于是整理了一下笔者遇到各种各样的报错以及解决方案案例阅读全文

posted @ 2019-08-09 18:08 xibuhaohao 阅读(2742) 评论(0) 推荐(1) 编辑

GreenPlum failover，primary和mirror切换实验 -- 重要

摘要：GP failover，primary和mirror切换实验 http://blog.sina.com.cn/s/blog_9869114e0101k1nc.html 一、恢复失败的segment出现segment节点down，恢复GP的思路：if"segment down" thencase "d 阅读全文

posted @ 2019-08-09 15:42 xibuhaohao 阅读(1708) 评论(0) 推荐(0) 编辑

Greenplum 激活standby 和恢复 master 原有角色

摘要：当Greenplum segment的primary出现问题时，FTS会监测到，GP会自动激活mirror。但是对于GP的master节点，虽然有standby，但是GP并不会自动来完成master和standby master的角色互换，需要通过gpactivatestandby命令来完成这个过程阅读全文

posted @ 2019-08-09 15:25 xibuhaohao 阅读(952) 评论(0) 推荐(0) 编辑

GreenPlum 常用命令

摘要：gpstate gpconfig gpstart gpstop 集群恢复激活备库流程始化备Master 参考文档 https://gp-docs-cn.github.io/docs/utility_guide/admin_utilities/gprecoverseg.html https://g 阅读全文

posted @ 2019-08-09 15:12 xibuhaohao 阅读(3227) 评论(0) 推荐(0) 编辑

Greenplum 添加mirror步骤

摘要：原文链接：https://yq.aliyun.com/articles/695864 [TOC] 概述新安装的greenplum集群只有primary节点，没有mirror。高可用性没得到保证。所以就需要为集群添加mirror节点注意：数据量过大时添加mirror，会有较大的磁盘压力，因为后台会阅读全文

posted @ 2019-08-09 14:59 xibuhaohao 阅读(1569) 评论(0) 推荐(0) 编辑

PostgreSQL 多版本的实现与Innodb和oracle的差别

摘要：PostgreSQL与oracle或InnoDB的多版本实现最大的区别在于最新版本和历史版本是否分离存储，PostgreSQL不分，而oracle和InnoDB分，而innodb也只是分离了数据,索引本身没有分开。 PostgreSQL的主要优势在于： 1. PostgreSQL没有回滚段，而ora 阅读全文

posted @ 2019-08-09 10:28 xibuhaohao 阅读(886) 评论(0) 推荐(0) 编辑

Oracle 与 postgreSQL 事务处理区别（多版本与undo区别）

摘要：2015年左右，因为工作需要用MongoDB、CouchBase这两种文档型数据库，时不时到这两个数据库官网上查资料、报BUG。时常可以在MongoDB官网上看到这样一些新闻，“某某企业成功将MySQL替换成MongoDB，性能大幅提升”，“某某公司将Oracle替换成MongoDB，节约成本若干” 阅读全文

posted @ 2019-08-09 10:17 xibuhaohao 阅读(1680) 评论(0) 推荐(0) 编辑

Oracle11g 新特性之动态变量窥视

摘要：从11g開始，这个尴尬的问题開始得到了改善。因此从11g開始，引入了所谓的自适应游标共享（Adaptive Cursor Sharing）。该特性是一个很复杂的技术，用来平衡游标共享和SQL优化这两个矛盾的目标。11g里不会盲目的共享游标，而是会去查看每一个绑定变量，并为不同的绑定变量来产生不同的运阅读全文

posted @ 2019-08-09 09:59 xibuhaohao 阅读(353) 评论(0) 推荐(0) 编辑

Oracle 绑定变量窥视

摘要：绑定变量窥视功能是数据库的一个特性，自ORACLE9i版本开始引入，默认是开启的。 “绑定变量窥视”表示，查询优化器在第一次调用游标时，会观察用户定义的绑定变量的值，允许优化器来确认过滤条件的选择性，以及是否使用绑定变量代替了常量。之后调用游标时不会出现窥视，且会根据指针共享标准来共享游标，即使随后阅读全文

posted @ 2019-08-09 09:40 xibuhaohao 阅读(2520) 评论(0) 推荐(0) 编辑

MongoDB 查看chunk块大小

摘要：使用mongo shell连到mongos执行命令：AllChunkInfo("dbname.cellname",true) 点击(此处)折叠或打开 AllChunkInfo = function(ns, est){ var chunks = db.getSiblingDB("config").ch 阅读全文

posted @ 2019-08-08 15:39 xibuhaohao 阅读(2773) 评论(0) 推荐(0) 编辑

Linux 查看实时网卡流量的几种方式

摘要：在工作中，我们经常需要查看服务器的实时网卡流量。通常，我们会通过这几种方式查看Linux服务器的实时网卡流量。 1. sar -n DEV 1 2 sar命令包含在sysstat工具包中，提供系统的众多统计数据。其在不同的系统上命令有些差异，某些系统提供的sar支持基于网络接口的数据统计，也可以查看阅读全文

posted @ 2019-08-08 15:37 xibuhaohao 阅读(1039) 评论(0) 推荐(0) 编辑

MongoDB 副本集的常用操作及原理

摘要：本文是对MongoDB副本集常用操作的一个汇总，同时也穿插着介绍了操作背后的原理及注意点。结合之前的文章：MongoDB副本集的搭建，大家可以在较短的时间内熟悉MongoDB的搭建和管理。下面的操作主要分为两个部分： 1. 修改节点状态主要包括： 1> 将Primary节点降级为Seconda 阅读全文

posted @ 2019-08-08 11:39 xibuhaohao 阅读(1264) 评论(0) 推荐(0) 编辑

MongoDB 副本集主从切换方法

摘要：一、方法一rs.setpDown() 将Primary节点降级为Secondary节点这个命令会让primary降级为Secondary节点，并维持60s，如果这段时间内没有新的primary被选举出来，这个节点可以要求重新进行选举。也可手动指定时间在执行完该命令后，原Secondary no 阅读全文

posted @ 2019-08-08 11:38 xibuhaohao 阅读(6955) 评论(0) 推荐(0) 编辑

MongoDB 副本集节点添加与删除

摘要：replica set多服务器主从，添加，删除节点，肯定会经常遇到的。下面详细说明一下，添加，删除节点的2种方法。查看复制集 PRIMARY>rs.status() 一，利用rs.reconfig，来添加，删除节点 1，添加节点查看复制打印 repmore:PRIMARY> config = { 阅读全文

posted @ 2019-08-07 18:17 xibuhaohao 阅读(6650) 评论(0) 推荐(0) 编辑

Linux 硬件软件时间同步

摘要：同步BIOS时钟，强制把系统时间写入CMOS 重新启动系统，硬件时间会读取系统时间，实现同步；但是在不重新启动的时候，需要用hwclock或clock命令实现同步。让linux自动从time.windows.com自动同步时间加上一句自动同步时间：转载自： https://www.cnblog 阅读全文

posted @ 2019-08-07 16:17 xibuhaohao 阅读(1003) 评论(0) 推荐(0) 编辑

Linux ntp 时间同步服务配置

摘要：一、基础环境 1、操作系统：CentOS 7.3 2、ntp：4.2.6 3、机器，服务端（192.168.1.210）客户端（192.168.1.211）二、安装ntp yum -y install ntp 三、服务端配置（192.168.1.210） vim /etc/ntp.conf res 阅读全文

posted @ 2019-08-07 14:43 xibuhaohao 阅读(469) 评论(0) 推荐(0) 编辑

MongoDB oplog详解

摘要：1：oplog简介 oplog是local库下的一个固定集合，Secondary就是通过查看Primary 的oplog这个集合来进行复制的。每个节点都有oplog，记录这从主节点复制过来的信息，这样每个成员都可以作为同步源给其他节点。 Oplog 可以说是Mongodb Replication的纽阅读全文

posted @ 2019-08-07 13:40 xibuhaohao 阅读(311) 评论(0) 推荐(0) 编辑

MongoDB 查看存储引擎

摘要：需要登录到具体的主/从节点查询，mongos查询不到 db.serverStatus() 其中有这个 "storageEngine" : { "name" : "wiredTiger", "supportsCommittedReads" : true, "readOnly" : false, "pe 阅读全文

posted @ 2019-08-07 11:43 xibuhaohao 阅读(1532) 评论(0) 推荐(0) 编辑

MongoDB 查看集合是否分片

摘要：MongoDB会把分片过的集合保存在config.collection集合中，若需要查看分片键，则需要根据该集合进行查找。官方的其他很多分片快捷命令也都处于config库三种方式 1、去config库中查询这种办法可以查看分片键信息 db.collections.find({$and: [ {' 阅读全文

posted @ 2019-08-05 15:48 xibuhaohao 阅读(1760) 评论(0) 推荐(0) 编辑

MongoDB-3.2 oplog删除策略优化

摘要：MongoDB oplog是一个capped collection，创建capped collection时，createCollection可以设置size（最大字节数）和max（最大文档数）的参数，当这个集合的『总大小超过size』或者『总文档数超过max』时，在新插入文档时就会自动删除一些集合阅读全文

posted @ 2019-08-05 15:25 xibuhaohao 阅读(594) 评论(0) 推荐(0) 编辑

mongodb mongod.lock文件及oplog文件

摘要：在mongodb的启动时，在数据目录下，会生成一个mongod.lock文件。如果在正常退出时，会清除这个mongod.lock文件，若要是异常退出，在下次启动的时候，会禁止启动，从而保留一份干净的一份副本数据。有人可能会想到删除这个文件，建议请不要这么做。如果这么做，我们也不知道数据文件是否会损阅读全文

posted @ 2019-08-05 15:13 xibuhaohao 阅读(553) 评论(0) 推荐(0) 编辑

mongod 命令常用参数 mongod常用命令参数大全

摘要：成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 mongod.exe - 数据库的服务器端，相当于mysql的 mysqld命令，启动服务器端 mongo.exe - 阅读全文

posted @ 2019-08-05 15:07 xibuhaohao 阅读(1131) 评论(0) 推荐(0) 编辑

Mongodb 查询优化（慢查询Profiling）

摘要：开启慢查询Profiling Profiling级别说明 1、通过修改配置文件开启Profiling 修改启动mongo.conf，插入以下代码 2、在启动mongodb服务以后，通过mongoshell来进行临时性打开启，只要关闭了mongodb服务，下次开启就不会启动，还得再开一次（1）、在m 阅读全文

posted @ 2019-08-05 10:24 xibuhaohao 阅读(893) 评论(0) 推荐(0) 编辑

Shared Nothing、Shared Everthting、Shared Disk

摘要：数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk：1.Shared Everything:一般是针对单个主机，完全透明共享CPU/MEMORY/IO，并行处理能力是最差的，典型的代表SQLServer以及一些用了单节点oracle、my 阅读全文

posted @ 2019-08-01 17:40 xibuhaohao 阅读(636) 评论(0) 推荐(0) 编辑

Mysql 双主--keepalived

摘要：简介编辑 Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人阅读全文

posted @ 2019-08-01 08:53 xibuhaohao 阅读(231) 评论(0) 推荐(0) 编辑

网络OSI和TCP/IP参考模型详解

摘要：网络模型对应协议转载自： https://www.2cto.com/kf/201612/576253.html 阅读全文

posted @ 2019-08-01 08:50 xibuhaohao 阅读(152) 评论(0) 推荐(0) 编辑