01 2013 档案
摘要：前面两篇文章中主要讲述了Kettle的 Spoon的转换和作业的GUI设计方式以及运行，也给出了Demo实战，那么实际上我们的应用模式可能会要求在服务器上以后台进程的方式运行这个ETL任务，就像我们传统上一般都是用Windows服务的方式来处理数据一样，那么用Kettle我们怎么去实现呢？这就需要我们了解一下Kettle的Kitchen和Span。
Kitchen——工作(job)执行器 (命令行方式)
Span——转换(trasform)执行器 (命令行方式)
阅读全文
摘要：这里简单概括一下几种具体的应用场景，按网络环境划分主要包括：
表视图模式：这种情况我们经常遇到，就是在同一网络环境下，我们对各种数据源的表数据进行抽取、过滤、清洗等，例如历史数据同步、异构系统数据交互、数据对称发布或备份等都归属于这个模式；传统的实现方式一般都要进行研发（一小部分例如两个相同表结构的表之间的数据同步，如果sqlserver数据库可以通过发布/订阅实现），涉及到一些复杂的一些业务逻辑如果我们研发出来还容易出各种bug；
前置机模式：这是一种典型的数据交换应用场景，数据交换的双方A和B网络不通，但是A和B都可以和前置机C连接，一般的情况是双方约定好前置机的数据结构，这个结构跟A和B的数据结构基本上是不一致的，这样我们就需要把应用上的数据按照数据标准推送到前置机上，这个研发工作量还是比较大的；
文件模式: 数据交互的双方A和B是完全的物理隔离，这样就只能通过以文件的方式来进行数据交互了，例如XML格式，在应用A中我们开发一个接口用来生成标准格式的XML，然后用优盘或者别的介质在某一时间把XML数据拷贝之后，然后接入到应用B上，应用B上在按照标准接口解析相应的
阅读全文
摘要：ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,本着好东西不独享的想法，跟大家分享碰撞交流一下！在使用中我感觉这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率，不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的
阅读全文
摘要：简化用户的账号、密码管理，避免了多个业务系统和功能模块的重复登录。
l 安全性好，可支持多种安全认证手段，提高了各个业务系统的账号安全控制，降低安全风险。
l 提供良好的接口和规范，支持第三方系统的账号集成，为第三方系统提供登录认证服务。
l 为企业各业务系统的分布式部暑提供了统一身份认证服务支持。
阅读全文
摘要：上篇：国家信息系统安全技术系列标准解读（一） 主要讲解了国家信息系统安全技术一系列标准的相关情况和SqlServer2008如何满足国家第四级结构化保护级标准，接下来我们再结合国家标准解读一下应用软件系统的安全规范。
应用软件系统是信息系统的重要组成部分，是信息系统中对应用业务进行处理的软件的总和。业务应用的安全需求，是信息系统安全需求的出发点和归宿。信息系统安全所采取的一切技术和管理措施，最终都是为确保业务应用的安全。这些安全措施，有的可以在应用软件系统中实现，有的需要在信息系统的其它组成部分实现。
阅读全文
