摘要: 要进入开发阶段,了解不同的ETL产品。整个ETL系统中,时间或更精确的,吞吐量是主要关心的内容。这种转换处理任务设计的主要目的归根结底是使得数据装载到展现表中最快并使得最终用户能快速的从这些表中得到响应。推或者拉:推,是源系统主动把文件推向ETL服务器,拉是ETL服务器主动从文件服务器上抽取文件。无论是推拉都得保证数据没有错误,传输完成,确保传输完全的一个简单的标志是使用标志(信号)文件。标志仅仅表示它相关的文件的可读性。预装载中的数据排序源数据在数据库中的时候,排序很容易通过数据库,查询数据的order by来实现,但是如果源数据来自平面文件,那么开始ETL处理之前需要一个排序的程序:在主机 阅读全文
posted @ 2012-10-12 23:12 honkcal 阅读(827) 评论(0) 推荐(0) 编辑
摘要: (下面是转发)数据库表A有十万条记录,查询速度本来还可以,但导入一千条数据后,问题出现了。当选择的数据在原十万条记录之间时,速度还是挺快的;但当选择的数据在这一千条数据之间时,速度变得奇慢。凭经验,这是索引碎片问题。检查索引碎片DBCC SHOWCONTIG(表),得到如下结果:DBCC SHOWCONTIG 正在扫描 'A' 表...表: 'A'(884198200);索引 ID: 1,数据库 ID: 13已执行 TABLE 级别的扫描。- 扫描页数.....................................: 3127- 扫描扩展盘区数.... 阅读全文
posted @ 2012-10-12 16:38 honkcal 阅读(423) 评论(0) 推荐(0) 编辑
摘要: 查看 sql server 连接数的指令为:sp_who 、 sp_who active 、sp_who2 和 sp_who2 active,至于其中的区别,请大家search一下,这里不再解释了(附带的转发东西)由于公司最近两个Web站点做了负载均衡,但是缓存机制仍然是 Asp.Net 自带的缓存,这样就导致了每台Web 服务器内存中都有一份缓存,直接导致了多次请求DB数据库,造成了DB连接数过高。由于是两个较大的站点两台服务器做负载均衡(负载平衡),所以,DB 的连接数也飙升,几乎翻了3倍。公司DB服务器用的是 Sql Server 2008 R2 ,并且DB服务器配置是相当的强悍的,连接 阅读全文
posted @ 2012-10-12 16:02 honkcal 阅读(611) 评论(0) 推荐(0) 编辑
摘要: 今天早晨遇到问题,一个表有数据,查询能出来,插入怎么都插入不进去,update也是失败,delete也是失败。最后突然好了,也没找到原因,郁闷死。估计就是思索等问题导致,于是查了一下。下面的是复制的。转发的。Sys.SysProcesses 系统表是一个很重要的系统视图,主要用来定位与解决Sql Server的阻塞和死锁。MSDN:包含正在 SQL Server 实例上运行的进程的相关信息。这些进程可以是客户端进程或系统进程。视图中主要的字段:1. Spid:Sql Servr 会话ID2. Kpid:Windows 线程ID3. Blocked:正在阻塞求情的会话 ID。如果此列为 Null 阅读全文
posted @ 2012-10-12 15:58 honkcal 阅读(3375) 评论(0) 推荐(0) 编辑