IT Gourmet
数据仓库, ETL的笔记
摘要: 用了aggregate函数和temp表。在SQLServer 2008下执行通过。可以处理存在不同主键的重复数据。create table t(a int,b char(10),c char(10))insert into t values (1, 'aa','bb')insert into t v... 阅读全文
posted @ 2014-04-23 17:53 ImToffee 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 软件:DataStage 8.1Aggregator的ouput有两种,calculation和count,这两种output列都是自动转成nullable的,也就是Null属性是Yes。而数据类型会自动变成Double。不要奇怪,Count的output也是double而不是认为的integer。因为Datastage的integer只支持到2147483647。因为计算结果会变成nullable,因为会变成double,我们需要在后面加一个Modify或者Transformer来处理。一。Null的处理在Modify Stage中可以用newcolumn=HandleNull(OldCol 阅读全文
posted @ 2012-09-21 01:10 ImToffee 阅读(2497) 评论(0) 推荐(0) 编辑
摘要: SQL中使用WITH AS提高性能-使用公用表表达式(CTE)简化嵌套SQL http://wudataoge.blog.163.com/blog/static/80073886200961652022389/一.WITH AS的含义 WITH AS短语,也叫做子查询部分(subquery factoring),可以让你做很多事情,定义一个SQL片断,该SQL片断会被整个SQL语句所用到。有的时候,是为了让SQL语句的可读性更高些,也有可能是在UNION ALL的不同部分,作为提供数据的部分。 特别对于UNION ALL比较有用。因为UNION ALL的每个部分可能相同,但是如果每个部分都去. 阅读全文
posted @ 2012-09-14 21:41 ImToffee 阅读(135) 评论(0) 推荐(0) 编辑
摘要: DB2CMD 命令环境里面,使用 db2 catalog tcpip node NODENAME remote HOSTNAME server 50000 然后 db2 catalog db DBNAME at node NODENAME 然后你再打开qc就可以看到数据库的连接已经存在了 阅读全文
posted @ 2012-08-03 22:08 ImToffee 阅读(339) 评论(0) 推荐(0) 编辑
摘要: www.51job.com 老牌网站,不过貌似很多职位都是空的,要不就是过期很久 www.zhaopin.com 最近有个代理投递服务,设置条件后可以每天自动投递10个以内的职位,试用中 --试用结果很差!! 居然投了好几个司机的职位。。。-- -|||||| www.chinahr.com 有几家猎头是通过这个网站搜索到我的,monster在国内的合作方 http://www.monster.com.hk/destination_china.html monster香港招聘网站,偶尔也有内地的职位,貌似高档的 http://www.chinasplash.com/index.html 这家是 阅读全文
posted @ 2012-07-12 17:30 ImToffee 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 今天帮忙翻译点小东西 查了一下 留个笔记坑爹bully [bul·ly || 'bʊlɪ]n. 恃强欺弱者; 为妓女拉客者, 拉皮条者; 恶霸#罐头牛肉; 腌牛肉v. 威吓, 胁迫; 欺侮; 欺侮人; 横行霸道adj. 特好的, 第一流的; 像流氓的; 霸道的interj. 好, 妙靠谱reliable, make sense, sensible我自己开始写的是reasonable残念unfortunately,pity但是这个翻译到某某人残念啊。。。这个怎么办。。。干脆省略这句了。。。 阅读全文
posted @ 2012-02-29 14:10 ImToffee 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 之前遇到一个去除重复行的问题。即逻辑主键重复,且内容有可能不同时,取某一列最大的那个,如果这样还重复,就随机取一条。gourp by只能做到取最大的,但是另外一点就做不到。在SSIS里面,可以用aggregator groupby 逻辑主键,取出最大值的那个列,然后lookup原表。系统自动随机选择一条匹配的(Informatica里面可以配置成lookup随机选择一条)。就不像join会出现笛卡尔积。今天查partition终于查到SQL的方法。看起来比工具的更简练。select * from(select Player, Year, HomeRuns, Rank() over (Parti 阅读全文
posted @ 2011-12-29 16:38 ImToffee 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 1。直接压缩(默认带文件夹),即压缩包打开后是个名为folder的文件夹a(不加-号是命令),添加到压缩文件C:\"Program Files"\WinRAR\WinRAR.exe a C:\folder\zipfilename.rar C:\folder\*.csv2。压缩时删除原文件C:\"Program Files"\WinRAR\WinRAR.exe m C:\folder\zipfilename.rar C:\folder\*.csv3. 不压缩路径,即压缩包打开就直接是csv文件们C:\"Program Files"\Wi 阅读全文
posted @ 2011-12-27 14:24 ImToffee 阅读(519) 评论(0) 推荐(0) 编辑
摘要: DAY(date1)-DAY(date2)可能出现错误,会有32768这样的大数。应该用DATEDIFF(DD,date1,date2) 阅读全文
posted @ 2011-12-20 16:23 ImToffee 阅读(260) 评论(0) 推荐(0) 编辑
摘要: delete test1from test1 t,test2 xwhere t.col1=x.col1and t.col1=x.col1 阅读全文
posted @ 2011-12-15 15:19 ImToffee 阅读(180) 评论(0) 推荐(0) 编辑