摘要：Dell R710，Xeon 5506 *2，4G *8，300GSAS *4 15K，Raid 10， Dell R710，Xeon 5506 *2，4G *8，146G SAS *5 15K，Raid 5， SQLIO 测试 sqlio -kW -t2 -s120 -o1 -frandom -b64 -BH -LS Testfile.dat >> e:\Wfrandom.txtsqlio -kW -t2 -s120 -o1 -frandom -b32 -BH -LS Testfile.dat >> e:\Wfrandom.txtsqlio -kW -t2 -s120 阅读全文

摘要：欢迎转载但请保留出处MSSQL高可用性和扩展性在众多主流关系型数据库中Oracle的集中型(Rac), Mysql 的分布型(Repl)前者往往依赖于主流厂商的硬件,纵向扩展负载CPU,面对IO的压力只能水平垂直拆分业务.后者未被Oracle收购前版本在面对存储单点故障时M_M_S的结构又不那么灵活.而Mssql属于2者中间.在面对不同业务需求时候 Mssql同时提供Nothing Share和 Everything Share 模式.所谓的Nothing Share 即: 横向扩张,读写分离.用多台便宜的Server + Sas盘来替代高端服务器和存储.而面对服务器级别的故障时Mssql同时 阅读全文

摘要：前段时间在删除分发的时候Invalid object name 'syspublications'导致整个server 都不能重做replication解决如下 EXEC sp_removedbreplication dbname发现还是不行sp_replicationdboption 'Problem Database','Publish','false'然后在出问题的库中重建系统表CREATE TABLE [dbo].[syspublications]([description] [nvarchar](255) NULL,[n 阅读全文

摘要：中间DFT_DATA 根据条件而变动SCR_CNF的脚本为代码scr_I的脚本为代码SCR_LOG 脚本代码SCR_CNF 用于MetaData 配置信息根据配置表决定源头server 和db 利于备库的迁移和ETL的维护.scr_I 用于ETL log验证SCR_LOG 记录 LogDFT_DATA 也是最关键的根据配置表的条件实现动态条件处理和 动态mapping.下面是这个模板包牵涉到的变量MetaDATA ETL 基本告一段落.后续注重优化DFT_DATA 阅读全文

摘要：MetaData ETL最近整合ETL MetaData大致分为4步1 config 整合能根据配置信息来访问不同源和目标。方便维护时迁移和临时调整2 业务逻辑整合所有的业务指标和逻辑在动态配置表里面实现。3 column mapping 的实现 ETL 时column mapping是个头疼的事情。有新增加字段时每次都要人工去刷新mapping。能动态的根据源头来实现mapping4 具有一定排错,对于常见错误能有一定的排错。比如snapshot延时或者创建失败时能根据错误信息做出相对措施。保证ETL的稳定。1 先把配置自动化掉 用script 组件实现代码 阅读全文

摘要：mysql 日志系统上线有段时间了,前端在慢慢切站点过来写入,未雨绸缪 diy了套 mysql 监控工具.分为 slave status ,sync,objec infot,userprivileges,job status ,slowlog. 这次说下slow_logmysql 1.5 开始支持 set global全局来更改变量设置。而无需重启服务.可以用 show variables 来查看... 阅读全文

摘要：随着业务,数据量的不断提升和业务对报表实时程度的不断提高,老一套的ETL即将被淘汰.老板的一句一小时看到数据,意味着生命不止折腾不息。现在的etl 通过多台etl机器来实现负载均衡.ods 层的结构和线上库结构一致.ods层采用raid 多快独立的disk,多个HAB。对于读取速度特别慢的表采用复制对象+分区表技术来实现几百万数据几分钟装载.详细见http://www.cnblogs.com/xw... 阅读全文

摘要：很多公司流行使用数据仓库进行数据分析,一般从线上数据源备库(mirror,logshipping,slave等)抽取到ods 层在从ods层到dw再到dm.特别在ods层到dw时,数据的清洗装载需要一定的时间和硬件资源.但是当硬件成为瓶颈时,怎么能快速完成清洗转载,及时的提供数据分析?下面提供一种方法使用Ssis 加载到 ods层后,直接通过分区表把数据加载到 dw1 准备[代码]2 使用ssis... 阅读全文

摘要：SSIS + 分区表 直接并行处理从OLTP 加载数据到OLAPWe Loaded 1TB in 30 Minutes with SSIS, and So Can YouSQL Server Technical ArticleWriters: Len Wyatt, Tim Shea, David PowellPublished: March 2009Applies to: SQL Server 2... 阅读全文

摘要：MSSQL 从 2005 开始推出镜像功能.MSSQL 镜像是不可读的.整个库在个 norecovery模式.MSSQL 镜像只能是1对1 但可以用镜像+logshipping 混合实现一对多和镜像链.MSSQL 镜像认证分为 证书 和windows验证.windows验证必须在一个域里面实现.并不是每个公司的生产环境都是一个域.域的好处是可以做故障转移群集+镜像混合实现保障.下面就说下认证方式的... 阅读全文

摘要：1 常规的2节点 群集+镜像常规用2节点群集做个故障转移群集和互做高性能模式镜像.省去见证服务器.不需要自动镜像切换.（官方说明是主服务器cpu 超过50% 就会自动切换).故障转移群集已经解决了这部分.2 ssis 负载均衡作为ETL 关系到整个OLAP 的效率.在DW磁盘写入和网络传输不是问题时高并发是解决效率问题的强力手段.狼群战术. 阅读全文

摘要：1建表和索引create table index_test (id int identity(1,1),name sysname);create clustered index nonidex_id on index_test(id);2 插入测试数据declare @count int=1;while @count<=100000begin insert into index_test(n... 阅读全文

摘要：--------因环境不同,请勿直接copy使用1--createprocedurecreate procedure usp_logshipping_send as declare @hostname sysname ,@px int ,@sql varchar(500); if OBJECT_ID(N'hostinfologshipping','U') is not null drop tabl... 阅读全文

摘要：老是忘记创建索引的语句结构,又不想用ddl.随便写了个脚本获取索引信息.1创建存储过程create procedure dc_usp_getindexinfoas------ get index info create table #(dbname sysname,tabname sysname,indexname sysname,index_type sysname,index_desc int... 阅读全文

摘要：前段时间写个合区合服的存储过程发现直接连接服务器写sql 做交互不如 直接通过链接服务器调用存储过程。原sql USE [xxxx]GO/****** 对象: StoredProcedure [dbo].[USP_UNION_AREA_SERVER] 脚本日期: 04/19/2010 09:43:06 ******/SET ANSI_NULLS ONGOSET QUOTED_IDENTIFIER ... 阅读全文

摘要：Catching Transient CPU Spikes Using SQL TraceIf there was one thing I wish everyone who works with SQL Server would learn, it would have to be to use server-side SQL Traces instead of the client appli... 阅读全文

摘要：--- 有过logshipping 维护的dba 应该很清楚.1 logshipping 主要为了数据查询部门操作 进而避免影响主库.2 有一定的容灾作用但是 一旦一直有session 占着超过几小时 就很郁闷了 一旦 log被删除 就要重做.重做影响数据查询 恶性循环.故 做了个超过一小时 干掉session 并记录在案（避免扯皮 有问题可以找他们）----step configUSE [DBC... 阅读全文

摘要：--2005select * into ## from(select sring='xxxxx(2弄)(3路)xxx()xxx' union all select 'dad(0d)da(da)da()ss')x--cte+nums 解决with xwjas(select id=1union allselect id+1 from xwj where id<=80) ,xwj2as(selec... 阅读全文

摘要：1 做镜象日志库主库 日志增长过快,并且无法截断.解决方法 每隔段时间 备份多个日志 并收缩日志eg:backup log databasename to disk=''dbcc shrinkfile(logfilename,size)---size 根据实际情况定　不要过小　这样日志增长的时候影响　oltp不用sql 是因为你必须做个 .bat 文件去定时 跑 删除 备份的日志。不易于维护.xp... 阅读全文