摘要:
Teradata在整体上是按Shared Nothing 架构体系进行组织的,他的定位就是大型数据仓库系统,定位比较高,他的软硬件都是NCR自己的,其他的都不识别;所以一般的企业用不起,价格很贵。由于Teradata通常被用于OLAP应用,因此单机的Teradata系统很少见,即使是单机系统,Ter 阅读全文
摘要:
HBase概念及表格设计 1. 概述(扯淡~) HBase是一帮家伙看了Google发布的一片名为“BigTable”的论文以后,犹如醍醐灌顶,进而“山寨”出来的一套系统。 由此可见: 1. 几乎所有的HBase中的理念,都可以从BigTable论文中得到解释。原文是英语的,而且还有不少数学概念,看 阅读全文
摘要:
数据挖掘模型 挖掘建模根据挖掘目标和数据形式可建立:分类与预测、聚类分析、关联规则、时序模式、偏差检测等模型 1.分类与预测 分类与预测是预测问题的两种主要类型,分类主要是:预测分类标号(离散属性);预测主要是:建立连续值函数模型,预测给定自变量对应的因变量的值。 1.1 实现过程 (1)分类 分类 阅读全文
摘要:
1、业界数据挖掘方法论 2、在工作中,我们进行数据挖掘实施指导方法: 应用建模的八步法:业务理解、指标设计、数据提取、数据探索、算法选择、模型评估、模型发布、模型优化 步骤一:业务理解 常见的误区:很多人以为不需要事先确定问题和目标,只要对数据使用数据挖掘技术,然后再对分析挖掘后的结果进行寻找和解释 阅读全文
摘要:
Hadoop是市面上使用最多的大数据分布式文件存储系统和分布式处理系统, 其中分为两大块分别是hdfs和MapReduce, hdfs是分布式文件存储系统, 借鉴了Google的GFS论文. MapReduce是分布式计算处理系统, 借鉴了Google的MapReduce论文.本文着重来梳理下新版也 阅读全文
摘要:
一, 下面一张图为传统架构和Hadoop的区别 主要讲以下横向扩展和扩展横向扩展:(Mpp 是hash分布,具有20节点)添加新的设备和现有的设备一起提供负载能力。Hadoop中系统扩容时,系统平台增加新节点之后,系统自动在所有节点之间均衡数据。纵向扩展:(oracle两个节点)向上扩展,指的是替换 阅读全文
摘要:
一:优化说明A:有数据表明,用户可以承受的最大等待时间为8秒。数据库优化策略有很多,设计初期,建立好的数据结构对于后期性能优化至关重要。因为数据库结构是系统的基石,基础打不好,使用各种优化策略,也不能达到很完美的效果。B:数据库优化的几个方面这里写图片描述可以看出来,数据结构、SQL、索引是成本 阅读全文
摘要:
一 数据库 1.1 数据库事务特性ACID 原子性Atomicity,一致性Consistency,隔离性Isolation,持续性Durability 1.2 锁有几种,及范围 从数据库系统角度分为三种:排他锁、共享锁、更新锁。按作用范围划分为:行锁、表锁。 S锁,也叫读锁,用于所有的只读数据操作 阅读全文
摘要:
1.每天读书。书是智慧的源泉。你读的书越多,你就会变得更加有智慧。都有什么书可以让你提高自己呢?博华看过的《建立你的时间资本》、《要事第一》、《世界上最伟大的推销员》等等都是很好的书,可以帮助你认识自己。2.学习新的语言。学习一门新的语言是一项挑战,你可以通过学习语言来了解不同的文化背景,丰富自己的 阅读全文
摘要:
写在前面 本文是分布式数据库的总纲文章的第一部分,主要探讨分析性分布式数据库的发展和技术差异;第二部分则是交易性数据库的一些关键特性分析。Ivan开始计划的分布式数据库是不含分析场景的,所以严格来说本篇算是番外篇,后续待条件具备将以独立主题的方式展开。 特别说明:本文是原创文章,首发在DBAplus 阅读全文