练一技,修百艺,而成于自然.

摘要： MYsql Replication 根据官方文档5.1.5 之前只支持 statement 模式.测试运用的版本是 5.1.49 log,Os: RedHat 5 _64Mysql 的Replication 是一个异步的复制过程，从一个Mysql instace（我们称之为Master）复制到另一个Mysql instance（我们称之Slave）。在Master 与Slave 之间的实现整个复制... 阅读全文

摘要： 随着业务,数据量的不断提升和业务对报表实时程度的不断提高,老一套的ETL即将被淘汰.老板的一句一小时看到数据,意味着生命不止折腾不息。现在的etl 通过多台etl机器来实现负载均衡.ods 层的结构和线上库结构一致.ods层采用raid 多快独立的disk,多个HAB。对于读取速度特别慢的表采用复制对象+分区表技术来实现几百万数据几分钟装载.详细见http://www.cnblogs.com/xw... 阅读全文

摘要： 很多公司流行使用数据仓库进行数据分析,一般从线上数据源备库(mirror,logshipping,slave等)抽取到ods 层在从ods层到dw再到dm.特别在ods层到dw时,数据的清洗装载需要一定的时间和硬件资源.但是当硬件成为瓶颈时,怎么能快速完成清洗转载,及时的提供数据分析?下面提供一种方法使用Ssis 加载到 ods层后,直接通过分区表把数据加载到 dw1 准备[代码]2 使用ssis... 阅读全文

摘要： SSIS + 分区表 直接并行处理从OLTP 加载数据到OLAPWe Loaded 1TB in 30 Minutes with SSIS, and So Can YouSQL Server Technical ArticleWriters: Len Wyatt, Tim Shea, David PowellPublished: March 2009Applies to: SQL Server 2... 阅读全文

摘要： 最近上mysql项目陆续上些mysql 信息,DBA 还是要兼几门数据库.代码每秒执行代码查看mysql job信息[代码]在某时间段里每秒执行代码监控的多台mysql job 通过 dbcenter 库 陆续抓取mysql 系统信息 通过邮件报表发出。mysqldbcenter 见http://www.cnblogs.com/xwj1985/archive/2010/04/02/1703121.... 阅读全文

摘要： MSSQL 从 2005 开始推出镜像功能.MSSQL 镜像是不可读的.整个库在个 norecovery模式.MSSQL 镜像只能是1对1 但可以用镜像+logshipping 混合实现一对多和镜像链.MSSQL 镜像认证分为 证书 和windows验证.windows验证必须在一个域里面实现.并不是每个公司的生产环境都是一个域.域的好处是可以做故障转移群集+镜像混合实现保障.下面就说下认证方式的... 阅读全文

摘要： 1 常规的2节点 群集+镜像常规用2节点群集做个故障转移群集和互做高性能模式镜像.省去见证服务器.不需要自动镜像切换.（官方说明是主服务器cpu 超过50% 就会自动切换).故障转移群集已经解决了这部分.2 ssis 负载均衡作为ETL 关系到整个OLAP 的效率.在DW磁盘写入和网络传输不是问题时高并发是解决效率问题的强力手段.狼群战术. 阅读全文

摘要： 1建表和索引create table index_test (id int identity(1,1),name sysname);create clustered index nonidex_id on index_test(id);2 插入测试数据declare @count int=1;while @count<=100000begin insert into index_test(n... 阅读全文

摘要： --------因环境不同,请勿直接copy使用1--createprocedurecreate procedure usp_logshipping_send as declare @hostname sysname ,@px int ,@sql varchar(500); if OBJECT_ID(N'hostinfologshipping','U') is not null drop tabl... 阅读全文

摘要： 老是忘记创建索引的语句结构,又不想用ddl.随便写了个脚本获取索引信息.1创建存储过程create procedure dc_usp_getindexinfoas------ get index info create table #(dbname sysname,tabname sysname,indexname sysname,index_type sysname,index_desc int... 阅读全文