IBM大型主机（Mainframe）技术简介之六——数据库和系统集成（二）

1. 系统集成的基础设施

 

RPC （Remote Procedure Call）

 

RPC是现代C/S和分布式程序的基础概念之一，通常由具体的技术来实现。以下是远程通信通常遵循的模式：

 

客户程序 <-> 桩（残根）函数接口 <-> Channel（协议栈通信通路） <-> 桩（残根）函数接口　<-> 服务程序

 

优点： 隐藏传输细节； 简化； 透明

桩函数接口的作用： 程序参数和通信栈上数据之间的转化、组织和传递。

 

CORBA （COmmon Request Broker Architecture）

 

CORBA曾经非常流行的一种RPC模式。其基本概念包括：

物件Object -- 可接受客户请求可位于远端的实体；

服务Servant -- 物件的功能实现；

IDL（Interface Definition Language） -- 接口定义语言，一种协议，类似COM的IDL，WSDL等的作用；用于保证CORBA语言无关。

ORB（Object Request Broker） -- 直接位于通信栈上用于处理请求的机构

 

通信模式：

客户程序（使用） <-> 物件对象（引用） | 桩函数接口（根据IDL生成） <-> ORB

                                                                                               |

                                                                                          通信链路

                                                                                               |

 服务程序（创建和维护） <-> 物件对象（实现） | Skeleton函数接口 <-> ORB

 

RMI （Remote Method Invocation）

 

是Java程序之间RPC通信的方式。如果JAVA要和其他语言程序通信，则采用CORBA；因此rmic工具为特定桩对象生成Java方法以支持通信。

在两个Java虚拟机之间则用JRMP（Java Remote Method Protocol）通信。

Server侧接口需继承：java.rmi.Remote，异常：java.rmi.RemoteException。

首先System.get/setSecurityManager()设置安全管理对象，java.rmi.registry.*设置Registry；对象创建，然后绑定到Java的命名系统中：Naming.bind("路径", obj); 客户端查询则通过Naming.lookup("路径");

 

.NET Remoting（已被WCF取代）

 

仅仅是上课提到，非上课重点，且为更新技术取代，不再赘述。

 

2. JEE (J2EE) 系统集成技术发展

 

1.2 （初始版）： Servelets, JSP, EJB, JMS, Mail, JDBC, Transactions, JNDI

1.3：Connector Architecture, JAAS, XML for Web Services, JSP Tag Libraries

1.4：Management (JMX), 安全扩展（Security Extensions）

1.5:（主发布版本） 原部署标记（XML）可以用Annotation取代，Dependency Injection，JPA

1.6:（最近版本） Profile概念（功能子集），REST的Web Service(JAS-RS)，Managed Beans，Bean Validation, EJB Lite, Servlet(支持Annotations, 异步asynchronous，可插卸性pluggability），Faces（Annotations, facelets, AJAX, implicit navigation）

 

3. JDBC

 

JDBC

 

目的：使Java接入关系数据库系统Relational Dababase Management System (RDMS)；

驱动Driver：适应特定数据库的JDBC API；

注册：v4以后的驱动不需要

结构：  Java应用 | JDBC API | JDBC SPI | JDBC驱动（数据库提供商提供） <-> 数据库

步骤：

1. 驱动注册： Class.forName("驱动名称").newInstance(); // need to catch Exception e

2. 建立连接： Connecton conn = DriverManager.getConnection(url); // need to catch SQLException

2'. 含参连接： Properties props = new Propertis(); props.setProperty("user", "Peter"); props...  conn = DriverManager.getConnection(url, props); 或： conn = DriverManager.getConnection(url, name, passwd);

2''. DS连接：Context ctx = new InitialContext(); /*JNDI*/ DataSource ds = (DataSource)ctx.Lookup("路径"); conn = ds.getConnection([user, passwd]); （DataSource是一个Factory产生普通/Pooled/Distributed Transaction的连接）

3. 使用后关闭连接： conn.close();

 

JDBC中使用SQL语句

Statement：执行SQL查询和更新：

Statement stmt = conn.createStatement(); int res = stmt.executeUpdate("SQL更新语句");ResultSet rs = stmt.executeQuery("SQL查询语句" [, resultSetType concurency, holdability]); ... stmt.close();

PreparedStatement：允许java变量作为参数：安全性（防止SQL代码注入）；效率（驱动可优化执行代码）

PreparedStatement ps = conn.prepareStatement("..?..?..?.."); ps.setInt(1,...); ps.setString(2,...); ...; ps.executeUpdate(); ps.close();

 

JDBC中执行事务（Transaction）控制

自动控制：conn.setAutoCommit(true/false); /*默认true，每执行一SQL即commit*/

手动控制：conn.commit(); 或 conn.rollback();

conn.setTransactionIsolationLevel(int level); /*Connection.TRANSACTION_NONE, READ_COMMITTED, READ_COMMITTED, REPEATABLE_READ, SERIALIZABLE */

 

CURSOR

使得一组从Query返回的数据行可被结构化/OO语言访问。

 

4. Hibernate技术

 

Hibernate

一种自动连接到RDBMS的技术，与JavaBean属性对应（Mapping）。

规定：JDBC属性和数据列的对应；设置映射关系（Mapping）；跨数据库支持；DDL生成；同时支持XML或Java Annotation

配置：连接到DB；映射的类；Caching；Transaction管理

 

Hibernate API

 

使用HQL完成数据获取并存入到映射的物件中。

Query q = session.createQuery("from Product");
List products = q.list();

 

HQL

例如：

from Product p where p.name = '...'

5. JPA

 

JPA

标准化的Java物件向关系数据库的映射（Java Object Relational Mapping）

提供者：ORM实现支持：如Hibernate, OpenJPA, EclipseLink等

因此JPA在概念上是比Hibernate相对更抽象和标准化的架构。

 

JPA常用Annotations

 

@Entity   定义一个数据保持对象，修饰类

@Table   定义表性质，修饰类（Table通常和一个类对应）

@Basic  定义数据保持属性，修饰变量

@Column   定义对应RDBMS列的性质，修饰变量（Column通常和一个变量对应）

@Id  定义实体（entity，即类实例）对应的主键，修饰变量，通常是int型

@GeneratedValue   定义如何生成主键值（如IDENTITY），修饰变量

@NamedQuery   定义一个命名查询，修饰类

 

JPA过程

 

(java.persistence.)EntityManagerFactory emf = EntityManagerFactory.createEntityManagerFactory();

java.persistence.EntityManager em = emf.getEntityManager(); // emf是EntityManager的类厂

em.getTransaction().begin();

... obj ...

em.persistent(obj);  //数据实例本身保存，和数据库同步（数据实例更改反映到数据库）

em.getTransaction().commit();

em.remove(obj);

em.merge(obj); //数据实例备份被保存，故数据实例后续更改不反映到数据库

em.close(); emf.close();

 

参考： http://stackoverflow.com/questions/1069992/jpa-entitymanager-why-use-persist-over-merge

 

 

6. EJB技术

 

EJB

简化分布式应用开发； 应用组件开发的框架； 作为一个容器，包含： 保持Persistence，事务Transaction Integrity；并发控制；目录服务（Directory Services）；部署服务（Deployment Services）；安全

 

Entity Beans

一个应用实体，例如：顾客、订单等。

 

Session Beans

业务逻辑的封装；代表一个单独的客户端交互单元；分成Stateful和Stateless

 

层次结构

Web Browser

----------------

Web Container: JSP Pages / Servlets

----------------

EJB Container: EJBs

----------------

Database

 

组件通信结构

 

Local接口         EJBLocalHome派生接口作为工厂创建EJBLocalObject派生接口的实例

Remote接口     EJBHome派生接口作为工厂创建EJBObject派生接口的实例；Remote之不同在于可跨JVM访问

                     而实际的业务逻辑由SessionBean的派生类实例完成

 

参考： http://stackoverflow.com/questions/913267/ejb-confused-about-home-remote-localhome-local-interfaces

 

状态转换

 

Stateful: [doesn't exist] <-remove | create/setSessionContext-> Ready <-passivate | activate->  Passive

Stateless: [doesn't exist] <-remove | create/setSessionContext-> Ready

 

EJB使用

 

Context ini = new InitialContext();

Context env = ini.lookup("env路径");

Object objref = env.lookup("ejb路径");

<Home类型> home = (<Home类型>)PortableRemoteObject.narrow(objref, <Home类型>.class);

<Object实例> foo = home.create();

foo.SomeMethod();

 

EJBQL

用于定义Entity Bean的finder和select方法。

Select（私有）返回保持字段（Persistent fields）和相关Entity Bean；

Finder返回整个Remote Interface对象。

 

 

7. 设计模式

 

Singleton

单一实例全局使用，首次创建。

 

Factory

一个实例能够创建出其创建对象实例。

 

Facade

统辖和整合子项（物件）功能，提供结构化的方法操作这些物件。

 

Proxy

根据一组协定的接口将远程抽象到本地，由本地和远程的基础实现和通信架构完成具体的传递。

 

Adaptor

功能适配，使得两方的功能协调

 

Observer

事件通知。

 

Builder

用诸方法收集参数，并最后根据参数创建一个对象。

 

8. 企业级设计模式

 

Design Patterns

在给定语境下对特定问题解决方案高级抽象

Patterns（模式）： 高级抽象

Strategy（实现策略）： 对一个Pattern的实现层详情或具体策略

 

Business Delegate

隐藏远程业务服务（Business Service）复杂通信细节和实现细节，封装。用Service Locator定位服务并使用SF中的接口方法。

Client-side Artifact，有业务层实现者实现，需要理解业务服务；取出客户端对业务服务变化的依赖；可以从暂时的错误中恢复，Cache结果提速；转换远程异常到应用异常。

策略：Proxy方式，BD作为Proxy将调用转发到BS，可实现Caching和Validating，通常不处理异常；

Adapter方式，通常用于异质环境，如JEE与.NET用XML RPC通信，可以根据现有功能定义新的方法适配相应环境。

 

Session Facade

向远端提供业务组件和服务，中心化业务逻辑到远端，防止客户端直接访问业务层；隐藏业务物件依赖性和互动。

Session Facade可以用EJB Session Bean实现与业务组件的交互；Session Facade少含或不含业务逻辑（AS包含）。

 

Service Locator

统一定位业务组件；隐藏JNDI查询，类型转换，异常抛出等的具体信息和复杂性。

方案：Singleton提供定位服务；Cache提升效率；JNDI使用InitialContext；易扩展至其他。

策略：EJB （home接口, cache）；JDBC（lookup Datasource，cache）； JPA Entity Manager（no cache needed）；Hibernate Session （no cache needed）。

范式：检查cache，如无按照一般方式获取加入cache并返回。

 

Application Service

中心化/抽象化业务逻辑，跨物件作用域业务层组件和服务，业务实现所需的所有结构化（Procedural）业务逻辑；在Service Facade中实现跨物件业务逻辑可能会导致Facade之间冗余。比Service Facade粗，但比BO细。更复杂的交互可由多个AS协调完成。

 

Business Objects （业务层 Business-tier）

在物件模型（Object Model）中分离业务数据和逻辑；物件为可重用的一层描述业务域（Business Domain）的业务实体；

统一业务行为和状态，避免业务逻辑冗余。

包含：内部的业务逻辑和规则，作用于本BO；

不包含：外部的业务逻辑和规则，作用于多个BO（由AS完成）。

客户信息的验证（Validation）。

策略：POJO+保持策略（或更好地用DAO）；EJB+Bean/Container Managed Persistence；

 

Data Access Objects

数据访问和数据处理（Manipulation）分离，故而将应用逻辑和数据保持和访问逻辑（persistence/data access logic）分开。

封装/抽象化到数据存储的访问；处理到数据存储的连接；没有详情和信息的泄漏，例如没有java.sql.SQLException，ResultSet的抛出等；统一抽象的客户端API；使用TO进行数据返回和用户更改。

Transfer Objects

用于传送多个数据元素，跨越应用各层（App. Tiers）；如果用Entity Bean的属性getter和setter来完成则由于数量多而低效。

它们只是简单的Java类，可用字段直接访问或getter/setter或仅getter可读访问。

策略：一个App中使用不同的TO； 可更新，客户端可修改并返回更改；Entity（Business Object）继承了TO的实现策略减少代码冗余。

 

9. 其他方式

 

消息队列

安全；负载平衡，可增加请求接受数量；消息驱动架构，到达后自动触发程序处理，队列路由消息；容错，收到的消息必会传递。

程序到程序，从队列中读写消息；无需专有通信连接

 

Websphere MQ

Message Descriptor：ID, Type, Expiry Time, Priority, QueueNameForReply

Message Data： 消息数据主体

消息类型：Datagram，请求无回复；Request，请求需回复；Reply，为回复；Report，事件报告，如错误。

Persistent：记录（log）到二级存储，重启后可恢复； Non-persistent，不可恢复。

 

MQEnvironment

定义一系列不同的连接属性，用于和MQManager连接时提供环境信息。

 

MQManager

维护一些队列MQQueue

方法：

begin开始一个事务

backout撤销一个变化

commit提交一个事务

 

MQQueue

方法：

void get(MQMessage message[, MQGetMessageOptions getMessageOptions, int maxMsgSize]) throws MQException;

void set(MQMessage message[, MQPutMessageOptions putMessageOptions]) throws MQException;

 

JMS (Javs Message Service)

 

方式：

1. 点对点（Point-to-point）队列： 一个Producer对应一个Consumer，无Consumer表示消息挂起。

2. 发布订阅（Publish-subscribe）： 可被任意个Consumers获得，Consumer注册定于一个topic，当无对应topic的Consumer，消息丢弃。

 

JMS消息

消息体（可选），类型：空消息；流（一串Java基本类型）；Map（名/值对）；Text（字符串信息，如XML）；Object（例如Java对象）；字节串

消息头：用于路由及辨识的消息

属性：值只能是Java基本类型，只能在消息创建时设置

 

JMS框架和流程

ConnectionFactory为连接类厂，创建连接Connection

Connection创建后是Stop状态，用start()/stop()管理消息流动；它也是Session类厂

JMS Destination：源或目的，是实现（如MQQueue）的抽象，或类似于WCF中的Endpoint

Session创建Message，也创建Producer和Consumer，分别从或向对应Destination中获取或发送消息。

异步获取，可以Consumer.setMessageListener(一个MessageListener对象)

 

IMS (IBM Information Management System)

和Java, JDBC和Web Servces交互

数据模型（Data Model）：分成多个Segments，由数据库组织Segment的Hierarchical Structure。

事务模型（Transaction Model）：从终端（如Web Client等）获得事务，队列成消息，Schedulers启动业务应用来处理事务。

 

IMS的两个Java程序的执行环境

Java Batch Processing (JBP) regions：

1. 创建IMSDataSource对象并设置参数，包括数据存储名称，数据类型，Metadata的URL

2. 创建Application对象，在尤其创建获得Transaction对象tran

3. 从IMSDataSource对象获取连接Connection对象conn， 在conn上可以用JDBC的接口方式执行Query Statements

4. 由PSBFactory.createPSB()创建PSB对象，再由其上的getPCB获得PCB，再由PCB上getSSAList获得SSAList ssa

5. PathSet pathSet = pcb.batchRetrieve(ssa); pathSet.hasNext() Path path = pathSet.next()可遍历树状路径。

6. tran.commit()，psb.close()

 

Java Message Processing (JMP) regions，与JBP流程不同在不用PSB而用：

1. 创建IMSFieldMessage派生类用于封装一组DLITypeInfo

2. 从Application对象中获得MessageQueue

3. IOMessage ioMessage = app.getIOMessage("到1定义的类的路径");

4. 循环中从MessageQueue中获得更新ioMessage，进行处理，并最后将ioMessage insert到MessageQueue中

 

 

IMS访问

 

2型JDBC驱动：借助JNI并在同一个z/Series逻辑分区

4型JDBC驱动：可以通过TCP/IP访问

JDBC驱动基于IMS结构虚拟一个关系数据库，功能包括Aggregate函数（SUM, MIN, MAX, ...），ORDER BY和GROUP BY

 

IMS Universal DL/I驱动：本地访问IMS的API，Java实现调用接口，以比JDBC更低级方式接入IMS；创建Search Segment Arugments；

Program Communication Block物件用于读写和执行批处理和segments；完整的segment hierarchy的浏览

 

IMS元数据（Metadata）

描述IMS Program Specifiation Blocks, Database(DBDs)，segments，字段，关系，键/非键，和数据类型等；

IMS Universal驱动用之创建和审核查询；保证所有相关的DBDs都可用；DLIModel工具将会生成合适的Java代码。

 

 

10. Web Services

 

Service：抽象的功能集合；

Agent：Service的具体实现；

Provider：提供Agent的实体；

Requester：需要使用Agent的实体。

 

SOAP - 交换结构化信息的协议，W3C标准XML应用通常使用HTTP和其他协议用于消息传输

 消息结构： Envelope { Header（可选）; Body; Fault（可选）; }

 

WSDL - Web Service Description Language， XML应用，描述服务，语言和平台无关，XML Schema用于数据类型

 格式：definitions, types, messages, portType, binding, service

 工具：wsgen, wsimport

 

REST - REpresentational State Transfer，相对轻量级的WS。限制：

  C/S，两侧可分别演化; Server不保留状态，所有信息在请求中包含； 可Cache； Layered System客户无法获知对方身份； Code on demand （可选，返回给客户Javascript或Java Applets）；统一接口；

操作：基于HTTP操作，组（collection）URI和element URI；GET获取成员/PUT更改或创建成员/POST新建项/DELETE删除组或成员

 

JSON （原JavaScript Object Notation，现在语言无关)

序列化和传送数据

 

11. 后续发展

 

SOA (Service Oriented Architecture，但事实上并不能称为Architecture，

SOA是一种模式，而Web Services则对应地是一种具体的策略。基于SOA的系统应该将功能用一组可互操作的服务实现，而这些服务可以被位于多个业务域的不同系统使用。

 

SOA服务

用IT方式实现业务功能；一个单独的动作，如创建一个顾客，或更改顾客名称，支付等；隐藏技术细节；可被商务/管理人员理解

Producer提供服务的实体，Consumer访问服务的实体。

 

送耦合

防止组件间依赖；考虑异步通信问题；异质数据类型；大系统中，最小的可提供共识必须保证；系统越大，耦合需要越松。

 

一些问题

数据类型协调（Data Type Harmonisation）: CRM和ERP对Customer的定义不会一样。

Mediators：Consumer寻找Producer的方法：Name service，搜寻Provider然后调用；路由（由基础设施实现）。

Validation：尽量早；尽量不用底层执行该验证；不同的情形不同方式

数据类型：考虑能最大化交互

双步提交（Two-step Commit）：较高的资源需求；较高的编程要求；不是所有系统支持；需要所有系统在线

补偿提交（Commit with Compensation）：保证总体一致性；顺序更改，可回退；混入人工

 

服务分类

基础服务（Basic Services）：原子性；数据（业务数据处理，事务）/逻辑服务（如验证信息）；自治自包含；可能有重复

组合服务（Composed Services）：组合；短时（Short-running）；无状态；例如，转账

处理服务（Process Services）：表示业务过程（Business Process）；长时（Long-running）；通常有状态以跟踪业务流进程；例如买保险网购等

SOA层次

基础层（Fundamental）——通常只有基础服务

联合层（Federated）——基础和组合服务，组织内增值

处理使能层（Process-enabled）——包含处理服务，或需要人工介入

 

服务的其他特性

公共和内部服务：安全性；可用性；稳定性；部署

读服务：较简单，脚步稳定，可能需要审查（Auditing）；写服务：可能需要补偿，审查和跟踪更新

 

关键要素

基础设施；架构；处理过程（包含管理支配（Governance））

 

ESB (Enterprise Service Bus)

 

允许Consumer访问Provider的服务

互操作性

解决服务之间的阻抗性失配（impedance mismatch）

 

Facilities of ESB：

Connectivity, Data transformation, Routing, Security, Reliability, Service Management, Monitoring/Logging, 等

 

异质ESB，通过路由等连接

Mediation

 

BPEL (Business Process Execution Language)

 

Business Process Management: 技术使能的，对长期的和多步的跨系统和人员的过程获得可见性和控制

Business Process Modelling: 描述所有或部分业务过程的一组实践

自下而上设计：可能会导致过于复杂繁难的技术

自下而上设计：可能会导致冗余或缺漏

实践上可以采取综合的设计方法

 

BPEL： 一种集成Web Services的技术，用于定义包含启动Web Services的BP，本身作为WS触发，OASIS维护，XML应用，可执行的规则

 

基本活动：

receive（接受请求）, invoke（调用Web Services）, assign（处理变量）, validate(验证保存的XML), reply（回复消息）

throw（产生错误），rethrow（转发错误），exit（退出一个过程），compensate（调用补偿活动），compensateScope（在子作用域补偿），

wait（等一段时间），empty（无操作），extensionActivity（语言扩展包装）

 

结构化活动：

flow（并行执行），sequence（顺序执行），while（条件循环），repeat（循环直到），pick（阻塞到消息到达），forEach（顺序/并行），

if/elseif/else（分支），scope（创建子作用域）