2011年12月30日
摘要: 记录一些Hadoop相关的学习资源,以备忘。Hadoop中文版官方文档:http://hadoop.apache.org/common/docs/r1.0.0/cn/index.htmlHbase官方文档翻译版:http://www.yankay.com/wp-content/hbase/book.htmlcloudera官方网站:http://www.cloudera.com/resources/HBase官网:http://hbase.apache.org/ 它的FAQ和Book (single-page)里面有一些有用的玩意。 阅读全文
posted @ 2011-12-30 21:36 冰羽的世界 阅读(242) 评论(0) 推荐(0) 编辑
  2011年12月29日
摘要: bin/hadoop jar xxx.jar mainclass args这样的命令,各位玩Hadoop的估计已经调用过NN次了,每次写好一个Project或对Project做修改后,都必须打个Jar包,然后再用上面的命令提交到Hadoop Cluster上去运行,在开发阶段那是极其繁琐的。程序员是“最懒”的,既然麻烦肯定是要想些法子减少无谓的键盘敲击,顺带延长键盘寿命。比如有的人就写了些Shell脚本来自动编译、打包,然后提交到Hadoop。但还是稍显麻烦,目前比较方便的方法就是用Hadoop eclipse plugin,可以浏览管理HDFS,自动创建MR程序的模板文件,最爽的就是直接Ru 阅读全文
posted @ 2011-12-29 23:30 冰羽的世界 阅读(305) 评论(0) 推荐(0) 编辑
  2011年12月13日
摘要: 问题:找到含某个词的所有表和字段思路:循环INFORMATION_SCHEMA.COLUMNS ,找到所有的表和列,并尝试用select count(1) 的方式 ,如果,返回值大于0,说明,存在,否则不存在。注意点:INFORMATION_SCHEMA.COLUMNS 要进行DATA_TYPE='nvarchar'的筛选,这个根据你所查的值是什么 类型而定。存储过程 CREATE proc [dbo].[sp_FindCol] @strLookfor nvarchar(128) asbeginDECLARE @num intDECLARE @sql nvarchar(400) 阅读全文
posted @ 2011-12-13 12:36 冰羽的世界 阅读(420) 评论(0) 推荐(0) 编辑
  2011年11月29日
摘要: 行列互转,是一个经常遇到的需求。实现的方法,有case when方式和2005之后的内置pivot和unpivot方法来实现。在读了技术内幕那一节后,虽说这些解决方案早就用过了,却没有系统性的认识和总结过。为了加深认识,再总结一次。行列互转,可以分为静态互转,即事先就知道要处理多少行(列);动态互转,事先不知道处理多少行(列)。--创建测试环境USE tempdb;GOIF OBJECT_ID('dbo.Orders') IS NOT NULL DROP TABLE dbo.Orders;GOCREATE TABLE dbo.Orders( orderid int NOT... 阅读全文
posted @ 2011-11-29 11:55 冰羽的世界 阅读(6574) 评论(0) 推荐(0) 编辑
摘要: 示例表 tb 数据如下id value—————1 aa1 bb2 aaa2 bbb2 ccc第一种SELECT id, [val]=( SELECT [value] +',' FROM tb AS b WHERE b.id = a.id FOR XML PATH('') ) FROM tb AS a 第一种显示结果1 aa,bb,1 aa,bb,2 aaa,bbb,ccc,2 aaa,bbb,ccc,2 aaa,bbb,ccc,第二种SELECT id, ... 阅读全文
posted @ 2011-11-29 11:37 冰羽的世界 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 下面的参数都是传入一个日期,试验时可用GETDATE()1、求当月第一天select @DATE-DAY(@DATE)+12、求下月第一天select DATEADD(MONTH,1,@DATE-DAY(@DATE)+1)就是在当月第一天的基础上+1月3、求当月最后一天select DATEADD(MONTH,1,@DATE-DAY(@DATE)+1)-1就是在下月第一天的基础上-1天4、求当月的天数selectDAY(DATEADD(MONTH,1,@DATE-DAY(@DATE)+1)-1)就是对当月最后一天进行day运算5、求当月的所有日期SELECT DATEADD(DAY,NUMBE 阅读全文
posted @ 2011-11-29 11:27 冰羽的世界 阅读(844) 评论(0) 推荐(0) 编辑
  2011年11月21日
摘要: 事实表:TweeterID,....。其中TweeterID为业务主键,没设置代理键。数据30万维度表:TweeterID,EducateName。EducateName为小学,中学,高中,大学这样的值。TweeterID唯一,即每个人只保留最高学历。数据量70万。两表通过TweeterID做关联,一做模型,发现,悲剧了。模型最终出来的事实表记录数为70万!可以推测出,如果你的事实表用的是业务键,Cube在做处理的时候,处理方式不是left join,是外连接?会遍历中维度表中所有的记录!!!没办法,本来想偷点懒的,最后还是只能把维度表改成EducateKey,EducateName这样的形式 阅读全文
posted @ 2011-11-21 15:14 冰羽的世界 阅读(256) 评论(0) 推荐(0) 编辑
  2010年5月11日
摘要: 下面是两个实现。 阅读全文
posted @ 2010-05-11 12:24 冰羽的世界 阅读(1507) 评论(0) 推荐(1) 编辑
摘要: [代码]cmd /c 表示运行其后的命令并自动终止。【附】windows xp操作系统下dos的新增功能: 命令:dir,列文件、目录 增加参数:/-c 参数说明:dir列文件、目录时显示的文件大小,其数值以千为单位进行分隔,使用此参数即“dir/-c”将取消显示中的分隔符,以满足部分人的视觉习惯。 增加参数:/q 参数说明:windows是多用户操作系统,使用此参数即&l... 阅读全文
posted @ 2010-05-11 10:53 冰羽的世界 阅读(5283) 评论(0) 推荐(0) 编辑
  2010年5月8日
摘要: [代码]最后执行的结果是剩下b节点。可以从alert(liList.length);这条语句看出原因在哪里。 阅读全文
posted @ 2010-05-08 12:37 冰羽的世界 阅读(136) 评论(0) 推荐(0) 编辑