harrychinese

摘要： Keywords: Factory Pattern, Design Pattern在网上经常会看到有关Factory Pattern的文章, 今天我也在blog上发表一下对一个非常简单Factory pattern的见解.Factory模式其实就是为了封装系统的变化点, 将变化点集中在一起, 一旦这些变化点真的发生变化时, 只要修改一处代码就可以了.一图胜万言, figure1是表述这样的一个应用... 阅读全文

摘要： Keywords: C#Very good articles about thread and synchronizition: http://www.albahari.com/threading/Chinese version: http://knowledge.swanky.wu.googlepages.com/threading_in_c_sharp.html 阅读全文

摘要： 首先可以将TeamCity 看作一个专门Continuous Integration(CI)的Web Portal. TeamCity可以管理多个Build Agent, ,每个Build Agent可以认为是专门用来编译代码的机器. 当然Build Agent可以和TeamCity是同一台计算机. TeamCity为什么采用多个Build Agent这样的架构呢?多个Build Agent的... 阅读全文

摘要： 最近为公司开发了一个 Oracle 卸载数据程序(将Oracle的数据unload成定长文本格式, 然后通过FTP传给Teradata, Teradata etl automation将定长文本加载到数据仓库中). 部署的平台是RHEL 4.5 64bit, 本打算使用Python开发, 但考虑到系统的可维护性, Python直接被否了, 看来像Python这样的语言, 在非IT公司还是没什么市场的. 最后, 选用Java作为开发语言. Java原先不熟, 幸好有google, 碰到的问题都解决了. 下面记载一些开发过程中记录下来的tip. /******Java和C#的语法比较***/参考 阅读全文

摘要： 如何在Linux上部署Java应用程序==========================设置Linux的.bash_profile==========================在.bash_profile中设置JAVA_HOME和CLASSPATH变量, 并将$JAVA_HOME/bin加到PATH变量中###begin of JAVA CONFIGURATIONJAVA_HOME=/usr/jdk1.6.0_21CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATHexport CLASSPATHPATH 阅读全文

摘要： 如何在windows上使用putty来显示远端linux的桌面下面介绍的方式是使用SSH的X11 forward功能, 需要在SSH服务器和SSH客户机两边都启用了X11 forwarding功能时才可行.在SSH server端开启 X11 forword, 确保在文件/etc/ssh/sshd_config里有这么一行 X11forwanding yes安装X Windows软件需要在windows上安装一个X windows桌面系统, 可选用免费的Xming, 下载并安装后, 启动xlaunch应用.配置putty在putty的connection/ssh/X11设置界面上, 选中Ena 阅读全文

摘要： 我一直是powerdesigner的fan, 设计的事情它都能处理(ER[CDM/LDM/PDM], UML, Flowchart), 不过它的价格挺贵的. 下面介绍几个免费的软件, 可以代替powerdesigner/visio等商业软件.1. flowchart diagram(yEd是首选) 阅读全文

摘要： how to unload oracle data into fixed length text file1. sqluldr2This tool developed by one Chinese Oracle guru. At a glance, this tool is suited for my need exactly.http://www.dbatools.net http://www.dbatools.net/mytools/parallel-inside-sqluldr2.html**tricks and issues: trick 1: choose space(0x20) a 阅读全文

摘要： Eclipse的设置用惯了Visual Studio, 切换到Eclipse有很多不习惯的地方. 总结了几点, 以免忘记后重复摸索. 本文是基于Eclipse 3.1.0, 可能不适用于更新的Eclipse版本.强烈推荐下面2个Eclipse教程:http://www.javahotchocolate.com/tutorials/use-eclipse.htmlhttp://www3.ntu.edu.sg/home/ehchua/programming/howto/EclipseJava_HowTo.html如何理解Eclipse的workspace和project呢? Eclipse 的wo 阅读全文

摘要： 是时候该总结一下这2年的工作了, 这篇是我常用的Oracle知识点汇总, 很多都是从网上收集的. ---====================================--sqlplus 的使用---====================================--当用sqlplus执行大量的insert语句是,如果sqlplus回写的话, 速度会很慢, 关闭回写,速度会快很多set feed offset echo off--当用sqlplus的spool命令, 输出csv格式的报告, 需要配置sqlplus的设置项, 否则格式会很难看的. set pages 0;set 阅读全文

摘要： Dastage job 设计的几个 tip ================== ds job运行报错 ================== error code 139, 表结构不对 error code 134, 数据源无法访问 运行时如报 Rows not loaded due to data errors: 51, 很可能会ds job字符设置有问题, 需要调整NLS. ================== ds8 job锁定 ================== ds8经常出现某个job被某个session锁住的情况, 该如何处理这个问题呢? the job is locked by 阅读全文

摘要： Oracle OLAP的历史 Oracle OLAP的历史可谓悠久. Oracle在1995年从IRI手上买下Express产品时, Express已经是一个很强大的多维数据分析工具包了. Express被收购之后, 被命名为Oracle Express, 刚开始Oracle Express是一个独立的软件包, Oracle 9i开始作为OLAP Option集成在Oracle数据库内, 随着Oracle 10g/11g的发布, OLAP option更加成熟, 尤其是Oracle 11g. 如何创建和维护 Oracle OLAP cube 1. Analytic Workspace Mana 阅读全文

摘要： 朋友电话要我推荐一个Windows下的DWBI产品线, 强调要容易上手. 给他写了点东西, 同步放在博客上了. 目前只有4家公司, 能提供端到端的DWBI方案(包括database, ETL, Reporting, Data mining), 分别是Oracle, 微软, IBM和SAP. 如果在Windows环境下, 那自然首推微软了, 特点是: 容易开发, 维护简单, 总体拥有成本比较低. 另外, 微软还有别的公司不具备的武器, 就是Excel, 可以使用Excel来获取SQL Server Analysis Service的分析数据, 这直接拉近了BI和业务人员的距离. 当然, 也可以组 阅读全文

摘要： 前几天有朋友咨询在数据仓库Stage或ODS层该如何保存历史数据, 他的这个问题其实很普遍, 所以写了点东西放在博客上. 一般数据仓库项目中, Stage或ODS层要保留几天或几个月的源表数据. 保留历史业务数据是很必要的, 有时候需要DWH重跑某一天的数据, 这种情况下, 无法从前端OLTP系统取的当时的数据. 在比如, 需要DWH在一天内要回跑多天batch, 这在项目刚上线时经常碰到. 至于是在Stage层还是ODS层保留历史数据, 我一般推荐是在Stage层保留历史, 让ODS只保留当天的快照数据. 因为Stage保留的是最原始的数据. 那如何保留一个表(比如TA表)的历史数据呢? 我 阅读全文

摘要： 前面我写了个博客记录如何去重一个oracle表(link), 主要是利用了oracle的rowid伪列和row_number()分析函数. 有读者写邮件问, 如何去重一个SQL Server表, 场景和前面文章一样, 即: 有部分字段有重复值, 表结构中没有一个能唯一定位的ID列, 也不允许修改表结构. 下面我给了个基本的思路. --步骤0, 根据原表table_a, 创建一个临时表table_a_temp, 仅仅增加了一个自增列row_id, 原因是SQL Server没有类似Oracle的rowid伪列, 我们就自己造一个. --假设原表的结果为: create table table_a 阅读全文

摘要： 前几天, 有人要我列几个DWBI项目成功关键因素? 老实讲, 这个问题以前没有特别想, 因为我觉得很清楚. 现在回头想想, 我当时讲的不是很系统. 一点体会: 有时候认为自己已经对一个东西很懂, 没有必要再花时间在这个上面, 其实所谓很懂, 也就是脑袋里有一些孤立的点. 看来还是需要落实到文字, 写的过程也是一个梳理的过程. 下面列了几个成功关键点, 排列次序不代表重要度, 做DWBI的都应该清楚, 每一点都很重要, 如果有一个没有做好, 项目就可能失败. 1. 项目的目标和范围要清晰, 同时要有严格的Change Request控制, 防止需求膨胀. 2. 项目团队密切协作, PM+架构师+ 阅读全文

摘要： 如何去重一个oracle表, 这是数据仓库中经常要碰到的问题, 多数ETL工具都提供这样的功能, 如果要求用一条SQL, 该如何写呢? 如果是完全重复的记录，即所有字段均重复的记录, 去重很简单, distinct一下就行了; 如果是有部分字段重复(一个或多个关键字段)的记录, 去重会复杂些. 假设表table_a中, 包含重复的PK值, (正常情况下, PK应该是没有重复的), 同时假设该表又没有合适的唯一的字段 create table table_a (pk int, other_field varchar2(10)); 因为PK有重复, 所以删除多余记录不能仅仅依靠PK来区分, 可依靠 阅读全文

摘要： 在OLAP这块, 有Oracle OLAP Option和Hyperion Essbase. 很多专门搞DWBI的人, 也搞不清楚这两者有哪些区别, 各自的特点和定位是什么? 今天找到一个非常全面的presentation, Oracle OLAP Option VS Oracle Essbase Dan Vlamis (Vlamis Software Solutions) http://www.vlamis.com/Papers/collab2008-presentation2.pdf 简单讲, Essbase销售的对象是LoB(Line of business), 而Oracle Olap 阅读全文

摘要： 整理了一份BI开源软件清单.BI Suit:Pentaho, 介绍见http://baike.baidu.com/view/1545333.htmSpagoBI, 介绍见http://baike.baidu.com/view/1545333.htmJaspersoft, Openi, ETL, OLAP和Report工具可以从上述BI suit中挑出来, 下面仅仅列几个没有包含在上述suit中的数据挖掘组件 数据挖掘：Knime：http://www.knime.org/Orange：http://orange.biolab.si/, 特点: 可使用python来控制, R语言, http:/ 阅读全文

摘要： 前面我写了一个文章, 作业调度系统的构思, 链接为http://www.cnblogs.com/harrychinese/archive/2011/02/11/One_Batch_Scheduling_System_Design.html , 这篇讲一下几个关键点的技术选择. 1. 跨OS/跨平台的互操作性, 可以采用ssh方式, 可以借鉴fabric的ssh部分 2. 关于cluster failover, Java有Quartz(.Net有Quartz.Net)可以使用, 但python好像没有很好的框架, 在下面的链接中, http://stackoverflow.com/questio 阅读全文

摘要： 近来有换工作的想法了, 定位是数据仓库架构师, 因为最近几年一直做相关工作, 同时也看好数据仓库的前景. 在51job.com搜了一下数据仓库架构师, 开放的职位并不多, 放大了搜索范围, 搜索了数据库架构师和BI架构师. 结果是多了不少.下面我谈谈我对数据仓库架构师, 数据库架构师, 以及BI架构师的职责的理解.数据仓库架构师, 往往要做数据建模, 主要是面向数据仓库领域, 另外还要考虑ETL, 调度平台建设, 数据仓库的运维架构, 所以他需要具备4方面的知识和能力: 数据架构、ETL、数据库平台以及infrastructure知识。数据库架构师, 可以分为两类, 一类为开发类, 另一类为维 阅读全文

摘要： 曾经构思过一个数据库的版本控制软件, 花了好几天时间, 做出一个prototype, 自个兴奋了好几天. 但考虑到工作量实在太大, 同时red gate公司已经放出了SQL Source Control的early access版本, 所以放弃继续深入研究. 不过我得出了一个结论: 各个主流数据库服务器差异太大, 实现一个能很好管理多种数据库的版本控制工具不大可行, 面向特定数据库的工具应该更靠谱一些. 今天在下面的博客中, 看到有好几款开源的项目, 开源社区真有活雷锋啊. 我还没有来得及评估, 不知道这些工具的可用性到底如何? 也不知道它们能否和主流的版本控制系统兼容, 比如svn, cvs 阅读全文

摘要： Firefox的CPU占用真的不管恭维, 经常无响应, 甚至拖累操作系统整体的流畅性, 下面是我用到的一些调优手段, 太累心了, 直接换Chrome吧. 1. 在设置页面中, 做如下设置: 启用:硬件加速 禁用:输入拼写检查 Firefox更新策略: 不要选择自动检查/更新版本. 2. 使用flas 阅读全文

摘要： Hadoop计算平台和Hadoop数据仓库的区别http://datasearch.ruc.edu.cn/~boliangfeng/blog/?tag=%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93Hive 随谈（三）– Hive 和数据库的异同http://www.tbdata.org/archives/551Hadoop Ecosystem解决方案---数据仓库http://www.cnblogs.com/OnlyXP/archive/2009/10/14/1583450.htmlhadoop+hive 做数据仓库 & 一些测试http://hi.baid 阅读全文

摘要： TeraData, 当仁不让的霸主TeraData已经在这个领域纵横好多年了, 你从Tera这个词就能看出这点. 如果是新兵的话, 名字肯定不会是Tera, 这年头还叫Tera, 那也太没有发展的眼光了. 在国内, 多为不差钱的公司采用, 比如银行什么的. 数据仓库流图, OLTP-->ETL-->TeraData-->BI优点: (1)生态环境已经营造的很好了, 无论ETL工具还是BI工具都很好地支持. (2) 开箱即用, 甚至将硬件也打包在一起, 省事. (3)成功案例比较多缺点: (2)巨贵Greenplum, 新锐, 2010年被EMC收购, 算是嫁入豪门了(据传Or 阅读全文

摘要： 在我blogspot博客上有一篇更详细的文章, 这里仅仅记录一下如何配置web proxy. 软件下载: 1. microemulator 2.0.4 released, 下载地址有:http://iweb.dl.sourceforge.net/project/microemulator/microemulator/2.0.4/microemulator-2.0.4.ziphttp://microemu.googlecode.com/files/microemulator-2.0.4.zip2. opera mini 国内版下载, google一下. web 代理配置在windows的%use 阅读全文

摘要： 最近在构思一个作业调度系统(Job scheduling system), 其实作业调度系统也不是什么新东西, 很多大学的超级计算中心和气象中心都有这种系统, 最典型的开源软件架构是Torque加Maui, 这两个软件都是由Cluster Resources Inc维护的开源软件, 在维基百科上列出了一堆软件(http://en.wikipedia.org/wiki/Category:Job_scheduling).我所考虑的是作业调度系统, 不是面向科学计算, 而是针对金融行业日结月结作业或者DW/BI系统的refresh, 这类作业调度系统和气象中心的作业调度系统有很大的不同. 具体不同之 阅读全文

摘要： AnyDbTest从最初的一个人的pet project, 发展到今天, 已经有一些公司在使用. 源码最初放在csie.org, 后来csie.org通知要关闭svn服务, 不得不转到sourceforge.net, 由于访问速度很慢, 所以我在春节前做出了一个艰难的决定, 将源码转到微软的codeplex.com上. 现在的主页为 http://anydbtest.codeplex.com. 还没有来的及在这个网站上更新tutorial文档, 不过源码差不多全了. 原来站点www.anydbtest.com算是功成身退了, 以后不打算维护了.原来计划, 在春节期间能继续完善AnyDbTest 阅读全文

摘要： 科学松鼠会(果壳网)python工程师的招聘 http://www.guokr.com/joinus/#job-9,高级Python开发工程师工作职责：应用twisted框架开发与维护后端数据平台；应用django开发网站前台系统；基于内存数据库开发高性能的数据中间层；为已经在使用的开源项目贡献代码。职位要求：熟练使用Python编程语言，有1年以上的Python全职工作经验；了解twisted框架，并独立编写过Socket服务器；熟练使用Django框架，了解url分派，form验证等功能；对TCP/IP网络有深入的了解。优先条件：掌上Linux爱好者：Maemo、OpenWRT；有网络劫持 阅读全文

摘要： 1. python class的继承python允许多根继承, 这点像C++, 但不像C++那样变态, 需区分公有继承/私有继承/保护继承, python只有一种继承方式。也许正因为支持多重继承, 因此python没有interface这个关键词.2. 给类起个别名在python中, class也是对象, 所以你可以像操作对象一样, 将class赋值给一个对象, 这样就相当于给class起了一个别名可以在代码中:ShortName = MyReallyBigClassNameWhichIHateToType或者在import时候,from modulename import ReallyLon 阅读全文

摘要： 开篇几个链接, 有很多的tips, 值得认真学习Python Tips, Tricks, and Hackshttp://www.siafoo.net/article/52Programming FAQhttp://docs.python.org/faq/programming下面是我整理的Python语言的几个特殊之处(多和c#相比)1. python的多行注释在很多语言中, /* */是多行注释的写法, 但在python中, 没有专门的多行注释写法, 如果要写多行注释, 推荐的写法是, 每行以#开头. 当然, 也可以使用docstrings来做多行注释, 但不推荐这个写法.2. pyth 阅读全文

摘要： 这又是一篇转载文章, 好文章!先给一个google推荐的规范http://google-styleguide.googlecode.com/svn/trunk/pyguide.html接着是Style Guide for Python Codehttp://www.python.org/dev/peps/pep-0008/啄木鸟上有中文翻译.http://wiki.woodpecker.org.cn/moin/PythonCodingRule最后是正文, 转载自http://blog.csdn.net/akara/archive/2010/08/09/5797974.aspx[注, 用中划线标 阅读全文

摘要： Python函数学习这一节还没有涉及到面向对象, 主要关注如何定义和使用python的函数. 下文以简单问答形式呈现. 1. 函数要有一个返回值, 该如何写? 这个很简单, return ret_value2. 函数要返回多个返回值, 该如何写? python处理这个也很简单, 格式可以为: return ret_value1,ret_value2 或者为 return (ret_value1,ret_value2) 这两种写法的效果是一样的, 都是返回一个tuple3. 如果一个函数没有return语句, 那么函数有没有返回值? 答案是, 有返回值, 返回值是一个特殊的None值.4. py 阅读全文

摘要： 由于工作关系, 需要管理datastage服务器(linux), 时不时又需要做些shell开发工作. 之前, 我主要是做windows下的开发, 对shell算是半吊子吧. shell的语法和一些命令总是记不住, 现用现查吧! 手上有本简明实用的教程, 对工作帮助很大! 推荐一本我刚发现的, 相当棒的一个presentation! 指出了我的几个知识盲点, 比如shell中单引号和双引号字符串的差别, 再比如算术操作的写法. 链接地址为:http://michael-yxf.appspot.com/files/cisc327-linuxshell.pdf 阅读全文

摘要： 总是在本末倒置! 学习python, 首先是学习语言本身, 学习其Web框架. 结果, 我花了如此多的时间, 在构建一个基于VIM的IDE. 有现成的, 为什么不用. eclipse+pydev下面的文章浪费了大量时间, 搜索到的, 放在这里, 做个纪念吧.Vim as Python IDE on windows(这个文章介绍配置python IDE, 给力)http://www.cnblogs.com/renrenqq/archive/2010/09/09/1813669.htmlhttp://www.cnblogs.com/xd502djj/archive/2010/09/16/18276 阅读全文

摘要： 现在ORM框架实在很多, Java就不说了, 单.Net这边, NHibernate如雷贯耳, 微软的EF也来势汹汹, 好像castle project也有一个activerecord. 说实在的, 这些框架我都仅仅是知道有这么个东西, 没有做深入的研究和实践. IBatis也是很早就知道了, 对这个框架的定位映象很深. 空闲时候, 研究研究看看能不能在下一个项目中用得上.夏昕的IBatis2 开发指南非常值得读, 可以帮助理解ibatis的机制. 下面是我google出的关于MyBatis for Net的资料.IBatis2 开发指南, 作者: Xiaxin(夏昕) http://wiki 阅读全文

摘要： 做了很多年软件, 从没完完整整看过GOF 23个模式, 甚至连名都数不上15个, 汗颜! 园里很多大牛都有关于设计模式的文章, 整理出了一份. 慢慢看吧, 没有时间表. 也许永远看不完. CallHot写的设计模式系列(正在不断更新中)http://www.cnblogs.com/hegezhou_hot/archive/2010/11/30/1891672.html研磨设计模式(已经出书)http://www.cnblogs.com/sjms/灵动生活的设计模式http://www.cnblogs.com/ywqu/archive/2010/03/15/1686015.htmlTerryLe 阅读全文

摘要： 经过2周的环境准备以及资料整理, 越来越喜欢 python 了. 原因有几个: 其一, python 的语言确实很酷, 这年头动态语言比较时髦嘛, 我也是爱时髦的其二, python 开发桌面程序很方便, 而且跨平台. 其三, 相对于ruby, python 发展时间比较长, 可供选择的开源的程序库非常多, 其四, 我想研究一个成熟的 web 框架, 那就选 Django 吧这是我的 Python 学习中的第一篇 blog, 学习一个新的东西, 关键是将基础打好, 规矩也很重要, 一个py文件推荐以下面代码开头, #! /usr/bin/env python# -*- coding: utf- 阅读全文

摘要： 书单和文章列表越来越长, 不由得问自己, 能看完吗? #-----------official tutorial------------官方的tutorial, 权威啊! 英文很流畅易懂, 不过有点多, 偶尔看看吧 http://docs.python.org/tutorial/#------------入门级blog article-------------闫小勇之从C#到Python系列 http://www.cnblogs.com/yanxy/archive/2010/02/22/ILovePython.html [沈崴原创][Python 技术培训] 第一周幻灯片 "Python 基础 阅读全文

摘要： Jamie Phillip探索编码招式和行为驱动开发, infoq 中文翻译成3个文章, 值得读. 现在还有抽出时间, 下周一定读完, 争取写点读后感什么的. 第一部分, 介绍了编码招式，http://www.infoq.com/cn/articles/BDD-Katas-1第二部分, 结合应用了行为驱动开发。 http://www.infoq.com/cn/articles/BDD-Katas-2第三部分, Visual Studio 2010项目模板向导 http://www.infoq.com/cn/articles/BDD-Katas-3 阅读全文