随笔分类 - 精品区
摘要:提出问题?如果要你建立数据仓库,你如何确定数据仓库核心结构中要设计哪些表?以及表结构如何设计?下面通过问答的形势逐个解释。 Kimball模型设计过程: 1、 选定业务过程-依托业务流程 2、 确定粒度 3、 确定维度 4、 确定事实 问题1:如何确定仓库具有哪些维度表? 回答: 以有报表 业务人员
阅读全文
摘要:随着技术的发展,目前数据库系统对于海量数据的存储和高效访问海量数据要求越来越高,MongoDB分片机制就是为了解决海量数据的存储和高效海量数据访问而生。 MongoDB分片集群由mongos路由进程(轻量级且非持久化进程)、复制集组成的片shards(分片一般基于复制集故障转移和冗余备份功能)、一组
阅读全文
摘要:一、MongoDB复制集概述 MongoDB复制集实现了冗余备份和故障转移两大功能,这样能保证数据库的高可用性。在生产环境,复制集至少包括三个节点,其中一个必须为主节点,一个从节点,一个仲裁节点。其中每一个节点都是mongod进程对应的实例,节点间通过心跳检查对方的状态。 primary节点:负责数
阅读全文
摘要:参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进制安装包存在未知问题,如果直接下载spark二进制安装文件,配置完成后会发现启动spark及相关使用
阅读全文
摘要:本文基于vmware workstations进行CentOS7安装过程展示,关于vmware workstations安装配置本人这里不再介绍,基本过程相当于windows下安装个软件而已。 1、打开vmware workstations,文件->新建虚拟机,出现如下界面,选择“自定义(高级)”选
阅读全文
摘要:准备:主备库版本一致,主从库正常安装软件。 1、主库上设置一个复制使用的账户: mysql> grant replication slave,replicate client on *.* to 'rep1'@'192.168.100.136' identified by 'dbking'; Que
阅读全文
摘要:一、MySQL日志文件 mysql日志文件及功能: 日志文件 功能 错误日志 记录启动、停止、运行过程中mysqld时出现的问题 通用日志 记录建立客户端连接和执行的语句 二进制日志 记录更改数据的所有语句,还用于复制 慢查询日志 记录执行时间超过long_query_time秒的所有查询 默认情况
阅读全文
摘要:一、字符集和校验规则 字符集是一套符合和编码,校验规则(collation)是在字符集内用于比较字符的一套规则,即字符集的排序规则。MySQL可以使用对种字符集和检验规则来组织字符。 MySQL服务器可以支持多种字符集,在同一台服务器,同一个数据库,甚至同一个表的不同字段都可以指定使用不同的字符集,
阅读全文
摘要:官方共给出了3中安装方式:第一种方法必须要求所有机器都能连网,由于最近各种国外的网站被墙的厉害,我尝试了几次各种超时错误,巨耽误时间不说,一旦失败,重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装,而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是
阅读全文
摘要:先决条件:开发机器需要联网 已安装java 已安装Desktop组 1、上传安装软件到linux上: 2、安装maven,用于管理项目依赖包:以hadoop用户安装apache-maven-3.0.5-bin.zip。 --解压安装文件到相应目录下: [root@db07 opt]# chown -
阅读全文
摘要:删除GRID集群节点:参考oracle database 11g RAC手册(第二版) 目前GRID集群中节点信息:[grid@node1 ~]$ olsnodesnode1node2node3node4node5node6 目标删除node3、node4节点,保留GI集群4个节点工作。 1、检查当
阅读全文
摘要:1、设置主库为归档模式 SQL> shutdown immediate SQL> startup mount SQL> alter database archivelog; SQL> archive log list; 2、开启force logging SQL> alter database fo
阅读全文
摘要:Oracle11g提供的闪回技术用于对抗人为错误,主要有以下7种技术组成: 闪回查询-(闪回时间查询、闪回版本查询); 闪回数据归档; 闪回事务查询; 闪回事务; 闪回表; 闪回删表; 闪回数据库。 闪回时间查询:as of子句 用于查询基于过去某一时间点、SCN的数据分布情况。 SQL> crea
阅读全文
摘要:**********************集群规划*************************************** --配置主机,共需要8台主机,其中6台做grid集群,1台作为存储服务器,一台作为dns服务器,分配网段在60~80之间 >存储服务器:gridcluster-data
阅读全文
摘要:1、GG组件及其功能简介: manager进程:总管其他所以进程及处理相应GGSCI命令。 capture进程:从源端的联机日志文件或归档日志文件抓取commit的信息。 source trail文件:capture进程从日志文件挖掘出来的数据,存储在source trail文件中。该文件承载数据,
阅读全文
摘要:规划:主库:db_name=dbking db_unique_name=dbkingpri 备库:db_name=dbking db_unique_name=dbkingstd 1、修改dbking库为归档模式2、修改dbking库为force logging模式 修改后结果如下:SQL> sele
阅读全文
摘要:SELECT D.TABLESPACE_NAME, SPACE "SUM_SPACE(M)", BLOCKS SUM_BLOCKS, SPACE - NVL(FREE_SPACE, 0) "USED_SPACE(M)", ROUND((1 - NVL(FREE_SPACE, 0) / SPACE)
阅读全文
摘要:一、执行计划 执行计划是目标SQL在oracle数据库中具体的执行步骤,oracle用来执行目标SQL语句的具体执行步骤的组合被称为执行计划。 二、如何查看oracle数据库的执行计划 oracle数据库中常用的取得目标SQL语句执行计划的方法有以下几种: (1)explain plan命令 (2)
阅读全文
摘要:一、什么是统计信息 oracle数据库里的统计信息是如下的一组数据:他们存储在数据字典里,且从多个维度描述了oracle数据库数据对象的详细信息。 oracle数据库里的统计信息主要分为以下6种情况: (1)表的统计信息。 (2)列的统计信息。 (3)索引的统计信息。 (4)系统统计信息。 (5)数
阅读全文
摘要:优化器(optimizer)是oracle数据库内置的一个核心子系统。优化器的目的是按照一定的判断原则来得到它认为的目标SQL在当前的情形下的最高效的执行路径,也就是为了得到目标SQL的最佳执行计划。依据所选择执行计划时所用的判断原则,oracle数据库里的优化器又分为RBO(基于原则的优化器)和C
阅读全文