Eucalyptus——EC2的开源实现（转载）

Eucalyptus^[22]是加利福尼亚大学的 Daniel Nurmi 等人实现的，是一个用于实现云计算的开源软件基础设施。Eucalyptus 是 Amazon EC2 的一个开源实现，它与 EC2 的商业服务接口兼容。Eucalyptus 是一个面向研究社区的软件框架，它不同于其他的 IaaS 云计算系统，能够在已有的常用资源上进行部署，Eucalyptus 采用模块化的设计，它的组件可以进行替换和升级，为研究人员提供了一个进行云计算研究的很好的平台。 Eucalyptus 的设计目标是容易扩展、安装和维护。和 EC2 一样，Eucalyptus 依赖于 Linux 和 Xen 进行操作系统虚拟化。本节介绍 Eucalyptus 的设计、体系结构和组件功能等。目前 Eucalyptus 系统已经提供下载，并且可以在集群和各种个人计算环境中进行安装使用。相信随着研究的深入，Eucalyptus 将引起更多人的关注。

1．开发目的

用户可以通过多种方式来使用各种计算资源和存储资源，这些资源包括单个笔记本电脑到分布在世界各地的数以千计的计算节点。用户一般基于各种特征如硬件体系结 构、内存和磁盘存储能力、网络连接或地理位置来定位这些资源。一般地，这种资源定位涉及到资源的可用性、应用程序的性能分析、软件服务要求及行政关系等复 杂的问题。而高性能计算和网格计算在资源配置标准方面迈出了一大步^[23][25]， 但是对于有复杂资源需求的用户来说这些标准还是有些累赘。例如，一个需要大量计算资源的用户必须联系多个不同的资源提供者以满足自己的需求，而这些资源构 成的资源池中的资源大部分都是异构的，使得任务的性能分析和资源的有效利用变得十分困难。虽然具有专业知识的用户可以接受资源的异构性，但是许多用户喜欢一个硬件资源、软件堆栈及编程环境一致的开发运行环境，这种一致性使得大规模的应用开发和部署变得更容易。

云计算的基本功能是通过各种接口提供对大规模数据和计算资源的访问。目前的云计算系统基本遵循相同的原则，即对资源的获取和释放是按需进行的，且用户接口应 该非常简单。此外，云计算系统所提供的资源的通过虚拟化技术向用户隐藏了大量的信息如资源的物理位置、计算资源体系结构方面的细节等。这种应用模式得到了 广泛的认同，并为开发者开发可扩展的应用程序提供了全新的编程目标。随着云计算系统的数量和规模的增长，需要对云计算的一些重要问题进行研究，以使云计算 平台朝着预期的目标发展并取得成功。但是目前大多云计算产品要么是专有的，要么它们所依靠的大规模基础设施和软件对于研究社区的研究人员是不开放的，云计 算研究人员不能够对其进行任意修改和实验研究^[22]。缺乏研究工具使得许多基本问题不能够解决。

Eucalyptus 专门用于支持云计算研究和基础设施的开发。它基于“基础设施即服务（IaaS）”的思想，不同于 Google、Amazon、Salesforce、3Tera 等云计算提供商，它所使用的计算和存储基础设施如集群和工作站可为学术研究组织所用，为他们提供了一个模块化的开放的研究和试验平台，该平台为用户提供了运行和控制部署在各种虚拟物理资源上的整个虚拟机实例的能力。Eucalyptus 的设计强调模块化，以允许研究者对云计算的安全性、可扩展性、资源调度及接口实现进行测试，有利于广大研究社区对云计算的研究探索。

 

2．设计原则

虽然云计算系统已经为用户提供了一些可用的服务，但是其软件的封闭性使得云计算爱好者很难找到一个公开的灵活框架来定制自己的实验。Eucalyptus 是一个面向研究的开源云计算系统，为了满足众多研究者的上述需求，采用了独特的设计^[22][30]：

(1)Eucalyptus 必须能够在不受其设计者操控的软硬件环境中进行部署和执行。

(2)Eucalyptus 必须是模块化的，以便不同的研究者进行升级、改造和替换，同时能够实现最大程度的可扩展性。

Eucalyptus 的系统架构设计同时考虑了上述两个原则，并在它们之间做出了权衡。

 

3．Eucalyptus 与 IaaS

虽然大多数现有的云计算实现都遵循灵活性、可扩展性和提供动态计算能力等原则，但是在如何把这种计算能力提供给用户上却存在着很多差异。如亚马逊的弹性计算云 EC2^[23][27]允许用户根据需要分配整个虚拟机，从而提供“基础设施即服务（IaaS）”式的服务。它允许用户自行提供操作系统内核、基本操作系统软件、任何用户级别的软件和他们希望运行的应用程序，IaaS 系统只负责提供物理资源和实例化用户的虚拟机。Eucalyptus 实现的 IaaS 的 特别之处在于它被设计便于在研究环境中进行安装和维护，以便于修改、实验和扩展。商业云计算基础设施使用这些能力来控制本地资源的配置（如硬件版本、操作 系统版本、组网和存储策略等）及访问潜在的昂贵的资源集。在研究环境下，云计算基础设施不能够为其所有的软硬件强加一个指定的配置，也不能断言有大量的可 用资源集来保证系统的性能。典型的 IaaS 系统都有着特定的基础设施，并不把可扩展性和可移植性作为设计目标，也不把方便管理作为设计的首要目标。将多种计算资源聚集到一个单一的资源池加大了云计算系统的设计难度，很少有开源的软件包能够安装和部署在多个计算集群上并使它们相互协作和配合执行任务。因此，Eucalyptus 是 IaaS 中一个比较独特的例子，也是未来的多集群开源设计的先驱。

IaaS 并不是目前商业部门实现云计算的唯一途径^[22]，如 Amazon 和 Google 还分别通过 S3(Simple Storage Service，简单存储服务)和 App Engine 来实现 DaaS(Data as a Service，数据即服务)能力,用户可以从所提供的计算资源上访问和存储大量的数据。同样 Google 的 App Engine 还进行了语言层的抽象，以提供 PaaS （Platform as a Service，平台即服务）。另外，像 Salesforce 等公司还提供了 SaaS（Software as a Service，软件即服务）等。Eucalyptus 选择 IaaS 作为设计思想是因为两个原因。首先，Amazon 的 EC2 也许是目前商业上最成功的云计算系统，而 EC2 就是实现了 IaaS。Eucalyptus 采用了和 EC2 是兼容的接口，这使得测试相对成熟的商业云计算系统性能成为可能，采用 IaaS 使 Eucalyptus 在设计和测试过程中可以参考 EC2。其次，抽象的高层云计算至少在概念上都依靠相似的 IaaS 功能，为了进一步的研究和部署开源软件，云计算系统包括 IaaS 将是必要和有益的。

 

1．体系结构

Eucalyptus 的设计主要考虑两个工程目标：可扩展性和非侵入性。Eucalyptus 具有简单的组织结构和模块化的设计，所以扩展起来很方便，且 Eucalyptus 使用开源的 Web 服务技术，其内部结构一目了然。 Eucalyptus 的每个组件由若干个 Web 服务组成，具有定义良好的由 WSDL 文档描述的接口，且通过使用 WS-Security 策略支持安全通信。Eucalyptus 依靠符合行业标准的软件包如 Axis2、Apache 和 Rampart 等。这些实现技术的选择还支持设计的第二个目标：非侵入（non-intrusive）或覆盖部署。Eucalyptus 并不要求其使用者将他所有的机器都用于 Eucalyptus，也不要求以一种潜在的破坏性的方式来修改本地软件配置。它只要求使用Eucalyptus的节点通过Xen支持虚拟化执行和部署Web服务，只要满足了上述要求，Eucalyptus 就可在不修改基本基础设施的情况下进行安装和执行。

学术研究组织可以访问多种资源如小的集群、工作站池和各种服务器及台式机。由于 IP 地址的匮乏和对完全的通过因特网访问资源引起的安全方面的担忧，系统管理员通常将集群部署在一个私有的不可路由的网络上，该网络只有一个头结点负责在计算池和公共英特网之间进行路由流量。虽然这种配置通过使用最少的公共可路由的 IP 地址来提供安全保障，但这意味着大部分机器可以和外部主机连接的同时外部机器却不能直接和集群内部的机器进行通信。比如以下的情形，有两个小的 Linux 集群，一个小的服务器池及一个工作站集合，每集群有一个具有可公开访问的 IP 地址的前端机器，而其节点之间、节点与集群头节点之间通过专用网络相连。服务器和工作站具有公开的 IP 地址，但是这些工作站都位于防火墙的后面，不能够从外部连接它们。这种情形下，很显然安装一个完全互联的系统是不可能的，因为许多机器只能够向外部主机发起连接，或者完全的与外界网络是隔离的。此外，两个集群中的节点由于位于不同专用网络或许还有重叠的 IP 地址。为了在单一的云计算系统中使用所有的这些资源，Eucalyptus 采用了分层的体系结构，如图 1 所示^[22]。其中，CLC 代表云控制器（Cloud Controller），CC 代表集群控制器（Cluster Controller），NC 代表节点控制器（Node Controller）。

 

 

图 1 ·Eucalyptus 的分层拓扑结构

这些分层的组件能够容易地在常见的网络分层结构上进行安装。一个 Eucalyptus 部署的典型例子如图2 所示[22]：

 图 2·Eucalyptus 部署的典型例子

2．主要构件

Eucalyptus 的主要构件包括节点控制器、集群控制器和云控制器。

1、节点控制器

节点控制器负责管理一个物理节点。节点控制器是运行在虚拟机寄宿的物理资源上的一个组件，它负责启动、检查、关闭和清除虚拟机实例等工作。一个典型的 Eucalyptus 安装有多个节点控制器，但一台机器上只需运行一个节点控制器，因为一个节点控制器可以管理该节点上运行的多个虚拟机实例。节点控制器接口由 WSDL 文档来描述，该文档定义了节点控制器所支持的实例数据结构和实例控制操作。这些操作包括 runInstance、describeInstance、terminateInatance、describeResource 和 startNetwork。对于实例的运行、描述和终止操作执行系统的最小配置，并调用当前的管理程序来控制和监测运行的实例。 describeRescource 操作为调用者返回当前物理资源的特性，包括处理器资源、内存和磁盘容量等信息。

startNetwork 操作用于设置和配置虚拟以太网，有关内容将在下面讨论。

2、集群控制器

典 型的集群控制器运行在集群的头结点或服务器上，它们都可以访问私有或公共网络。一个集群控制器可以管理多个节点控制器。集群控制器负责从其所属的节点控制 器收集节点的状态信息，根据这些节点的资源状态信息调度进入的虚拟机实例执行请求到各个节点控制器上，并负责管理公共和私有实例网络的配置。和节点控制器 一样，集群控制器接口也是通过 WSDL 文档来描述的，这些操作包括 runInstances、 describeInstances、terminateInatances 和 describeResources。描述和终止实例的操作会直接传给相关节点控制器。当集群控制器接收到一个 runInstances 请求后，它执行一个简单的调度任务，该任务通过调用 describeResource 来查询每一个节点控制器，选择第一个具有足够空闲资源的节点控制器来执行实例运行请求。集群控制器还实现了 describeResources 操作，该操作将一个实例需要占据的资源作为输入，并返回可以同时在其所属的节点控制器上执行的实例的个数。

3、云控制器

每一个 Eucalyptus 安 装都包括单一的云控制器。云控制器相当于系统的中枢神经，它是用户的可见入口点和做出全局决定的组件。它负责处理进入的由用户发起的请求或系统管理员发出 的管理请求，做出高层的虚拟机实例调度决定。并且处理服务等级协议和维护系统和用户相关的元数据。云控制器由一组服务组成，这些服务用于处理用户请求、验 证和维护系统、用户元数据（虚拟机映像和 SSH 密钥对等），并可管理和监视虚拟机实例的运行。这些服务由企业服务总线来配置和管理，通过企业服务总线可以进行服务发布等操作。Eucalyptus 的设计强调透明度和简单以便促进 Eucalyptus 的实验和扩展。

为了达到这一粒度级别的扩展，云控制器的组件包括虚拟机调度器、SLA 引擎、用户接口和管理接口等。它们是模块化的彼此独立的组件，对外提供定义良好的接口，企业服务总线 ESB 负责控制和管理它们之间的交互和有机配合。通过使用 Web 服务和 Amazon 的 EC2 查询接口与 EC2 的客户端工具互操作，云控制器可以像 Amazon 的 EC2 一样进行工作。之所以选择 EC2 是因为它相对成熟，有大量的用户群体且很好的实现了 IaaS。

3．访问接口

云控制器中的 Web 服务接口包有三个重要的接口：客户端接口、管理接口和实例控制接口。

1、客户端接口

云控制器的客户端接口实质上是 Eucalyptus 内部系统接口和外部定义的客户端接口之间的转换器。例如 Amazon 提供了一个描述其服务的基于 Web 服务和 SOAP 的客户端接口的 WSDL 文档和一个用于描述基于 HTTP 查询的接口的文档，它们可以通过云控制器的用户接口服务转换成 Eucalyptus 的内部对象。我们使用 JiBX^[26]绑定工具来指定 XML 元素和 Java 对象实例之间的映射，同理可以使用它来创建 EC2 SOAP 消息和 Eucalyptus 内部对象之间的映射。但查询接口却不适合这种模型，主要有以下三个原因：

（1）没有 XML 文档可用。

（2）认证机制不同，且与采用的 WS-Security 安全策略相冲突。

（3）在同种请求的相同域的 SOAP 请求和查询请求结构之间存在冲突。

但是由于 EC2 的查询接口是 SOAP 接口的严格子集，Eucalyptus 开发了一个简单的绑定框架在有关注释的引导下将 HTTP 参数名字映射到对象字段，然后依靠目标对象的注释来澄清和修改映射的不一致性，最后 JiBX 使用命名空间为 EC2 SOAP 接口的边界对象分组。结果包括两个方面：

（1）JiBX 验证该对象，它实际上是一个合法的 SOAP 接口请求，也是一个合法的 EC2 客户端请求。

（2）分组后的 XML 文档可以用来当做 SOAP 的一部分来进行进一步的处理。

2、管理接口

除了支持主要的任务如启动和停止一个实例外，云计算基础设施还应该支持基本的管理任务，如添加和移除用户及管理磁盘映像等。Eucalyptus 通过一个基于 Web 的接口进行管理操作。它由云控制器通过一个基于 Web 的接口或通过命令行的方式实现，管理接口只有系统管理人员可以看见，且管理接口具有唯一性。向 Eucalyptus 添加用户可以通过管理员手动的添加或以在线申请验证的方式加入。在线验证方式往往要求用户提供自己的邮件地址，并点击系统发送到邮件中的验证链接来获取验证，因为 Eucalyptus 将用户身份和其邮件地址进行了绑定。用户添加成功后，管理员可以暂时或永久性的移除该用户，且管理员可以管理用户正在运行的实例并可终止这些实例。

通过管理入口，还可以将磁盘映像添加系统中。一个映像包括与 Xen 兼容的客户操作系统内核，一个根文件系统映像及一个可选的 RAM 硬盘映像。添加一个映像的过程包括加载这三个映像文件并给它们命名。管理员可以暂时或永久性的删除一个映像，另外管理员还可以通过控制器配置文件添加和删除集群中的节点。

1. 实例控制接口

云控制器提供了虚拟机控制服务(VmControl Service)来 管理虚拟机实例元数据的创建。虚拟机控制器不间断的维护一个基本资源状态的简单本地描述，如一个集群控制器潜在的能够创建的实例的个数。当发起一个实例创 建请求时，虚拟机控制器将和云控制器的其他服务进行协作，将用户的请求分解成映像、密钥对、网络和安全组等，并根据相应的元数据和资源应用配置策略预先生 成一个解决方案，然后将消息散播至涉及到的集群控制器，集群控制器将调度这些请求到其所辖节点控制器，最后由节点控制器创建虚拟机实例来运行用户作业和应 用程序。

4．服务等级协议

服务等级协议（Service-level agreement，SLA）是作为消息处理服务的扩展来实现的。消息处理服务可以检查、修改、丢弃消息及虚拟机控制器（VmControl）保存的状态。虚拟机控制器决定要访问的资源并执行系统级或用户指定的服务等级协议。虚拟机控制器依靠一个本地状态模型来做出这些决定，该模型通过集群控制 器获取其实例的可用性、配置、虚拟网络和注册映像的状态信息，虚拟机控制器依靠这些信息及其更新事件来做出全局服务决定。Eucalyptus 实现了一个可扩展的 SLA 模式，它耦合了状态模型和事件处理以支持对 SLA 的进一步定量研究。

虚 拟机控制器依靠本地模型来做出决策。为了保持模型更新，每一个云控制器会以被动轮询的方式取其实例的状态，包括实例的可用性、分配情况、虚拟网络及注册的 映像等。通过轮询获取的信息被当成判断的基准，用户请求被提交给事务，当资源满足该事务时就提交该事务进行处理。然而，当由于网络问题引起信息丢失或资源 状态改变时，该模型可能变得不一致，从而导致系统同一个不能满足的用户达成服务等级协议。然而，由于轮询是半同步的，丢失信息能够被确定，且模型处于无效 的时间点也可以被检测到。最终，模型在给定时间段的哪个时间点上无效可以被计算出来，从而避免模型不一致的情况导致的问题。Eucalyptus 已经实现了一个简单却强大的初步的 SLA，它可以使用户控制其实例的高层网络拓扑结构。

Eucalyptus 使用 Amazon EC2 提出的概念“区域”（zone）来指代由计算和存储资源组成的“池”（Pools）或“集群”（Clusters）。区域是由多个节点控制器和单个集群控制器从逻辑上构成的机器集合。Eucalyptus 允许用户为一个实例的执行指定一个区域配置，该配置提供不同的管理和网络性能参数，根据该配置，一个实例集可以在一个集群或跨集群运行，以获得所要的性能。

考虑到用户得到的资源数量及其拓扑结构的相对动态性，Eucalyptus 将对区域的概念进行扩展以支持不同的服务等级协议。目前 Eucalyptus 所提供的区域允许用户在执行作业时，可以具有多种选择，包括根据服务等级协议获取指定的集群、选择空闲的集群、指定单个及多个集群来为自己服务。

5．虚拟组网

虚拟机实例的互联问题是构建云计算基础设施最重要的工作之一。不同于物理机器组成的具有严格和复杂拓扑逻辑的物理网络，虚拟机实例组成的网络是一个虚拟化的网络，通过虚拟化处理它具有简单和易配置等特点。某个域内的虚拟机实例彼此之间应有网络连接，且它们中至少有一个虚拟机实例和外部公共网络相连，以便于为其所有者提供访问入口及与其它域实例进行交互。由于用户对于自己所监管的的虚拟机具有超级用户权限，其可以访问基本的网络接口，因此其具有获取系统 IP 和 MAC 地址的能力并对系统网络造成干扰。此外，如果两个实例运行在同一台物理机器上，虚拟机用户可以影响和窥探另外一个虚拟机的网络包，这将导致安全问题。因此在 有不同用户共享的云计算平台上，协作完成单一任务的虚拟机之间应该可以通信，而属于不同用户的虚拟机之间应该是通信隔离的。

为了解决上述问题，每个虚拟机提供两个虚拟网络接口，一个作为公共接口，一个称为私有接口。公共接口的作用是和用户所管辖虚拟机的外部进行通信，或在由服务等级协议定义的可用区域的实例之间进行通信。在一个有可用的 IP 地 址的环境中，这些地址可以在虚拟机实例启动时分配给它们以允许实例进行通信。而在具有支持外部通信路由器的私有网络中，虚拟机实例进行网络地址转换后，其公共网络接口可以分配一个有效的私有地址通过网络地址转换的路由器访问外部网络。实例的私有接口只能在跨域的虚拟机之间进行通信，以解决不同虚拟机实例运 行在独立的私有网络内但需要进行通信的问题。

集群控制器负责创建和销毁实例虚拟网络接口，节点控制器通过配置以如下的三种方式建立公共接口网络：

（1）     使虚拟机的公共接口直接连接到与物理机器网络相连的以太网网桥软件上，管理员可以像处理常规的 DHCP 请求那样处理虚拟机网络的 DHCP 请求。

（2）     允许管理员定义一个动态的 IP 地址池和一个网络，集群控制器通过一个接口连接到该网络，运行在集群控制器上的 DHCP 服务器负责在实例启动时将地址动态的分配给这些实例。

（3）     定义静态的 MAC/IP 地址对，每个实例启动时系统给其分配一个空闲的 MAC/IP 对，实例终结后释放该 MAC/IP 对。

实例的私有接口通过桥接器连接到一个被称为虚拟分布式以太网（Virtual Distrubuted Ethernet,VDE）^[25] 的全虚拟以太网系统,VDE 是一个以太网协议的线程级实现。VDE 网络通过通用的 TUN/TAP 接口连接到真正的以太网上，TUN/TAP 提供了从 Linux 内核到用户空间的以太网包通信服务。

一个 VDE^[25]网络由 VDE 交换机和它们之间的电缆连接构成，VDE 交换机位于节点控制器和集群控制器上，VDE 交换机采用生成树协议（spanning tree protocol），它防止环路的同时允许冗余存在于网络之中。如果没有防火墙，VDE 网络是完全连接，即 VDE 交换机和另外的每一个 VDE 交换机都直接相连，有防火墙的情况下，VDE 至少和系统中的一个 VDE 交换机相连。

为了保证系统的安全，需要对实例实行网络流量隔绝。这些实例可以是运行在相同主机上，也可以运行在同一物理网络中的不同机器上。系统要求任意两个实例之间不能够相互检查和修改彼此的网络通信，具体方法是用虚拟局域网（VLAN）给属于特定用户的实例集打上网络标签，以此来隔绝和转发不同的网络流量。

参考文献
[1] http://hadoop.apache.org/
[2] http://www.abiquo.com/
[3] abicloud technical overview, 2009.http://www.slideshare.net/abiquodocs/abicloud-technical-overview.
[4] http://www.enomaly.com/
[5] libvirt. Enomaly Elastic Computing Platform (ECP).
http://wiki.libvirt.org/page/Enomaly_Elastic_Computing_Platform_(ECP)#Enomaly_Elastic_Computing_Platfor m_.28ECP.29
[6] http://www.mongodb.org/display/DOCS/Home
[7] http://www.10gen.com
[8] Mongo Architecture. http://www.mongodb.org/display/DOCS/Mongo+Architecture
[9] http://www.eucalyptus.com/
[10] D.Nurmi, R.Wolski, C.Grzegorczyk, G.Obertelli, S.Soman, L.Youseff and D.Zagorodnov. The eucalyptus open-source cloud-computing system. In Cloud Computing and Applications 2008(CCA08), 2008.
[11] http://workspace.globus.org/
[12] Frequently Asked Questions. http://workspace.globus.org/vm/faq.html
[13] http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/index.html
[14] http://www.infoq.com/cn/articles/hadoop-intro
[15] http://cn.hadoop.org/doc/hdfs_design.html
[16] http://hadoop.apache.org/core/docs/r0.18.2/api/index.html
[17] Dean, Jeffrey & Ghemawat, Sanjay (2004). "MapReduce: Simplified Data Processing on Large Clusters". Retrieved Apr. 6, 2005
[18] http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/
[19] http://wiki.apache.org/hadoop/HBase/HBaseArchitecture
[20] http://blog.csdn.net/daidodo/archive/2008/02/24/2116761.aspx
[21] http://tech.ccidnet.com/art/5833/20090318/1713499_1.html
[22] Daniel Nurmi, Rich Wolski,ect,Eucalyptus : A Technical Report on an Elastic Utility Computing Archietcture, http://open.eucalyptus.com/documents/nurmi_et_al-eucalyptus_tech_report-august_2008.pdf [23] Amazon.com home page.
http://www.amazon
F.Bellard.QEMU,a Fast and Portable Dynamic Translator.Proceedings of the USENIX Annual TechnicalConference, FREENIX Track, pages 41–46,2005.
[24] Amazon elastic compute cloud – http://aws.amazon.com/ec2/.
[25] Virtual distributed ethernet (VDE) home page – http://vde.sourceforge.net/.
[26] JiBX home page. http://jibx.sourceforge.net/.
[27] Amazon Web Services home page. http://aws.amazon.com/.
[28] Amazon Elastic Compute Cloud (Amazon EC2). http://aws.amazon.com/ec2/.
[29] The Eucalyptus Open-source Cloud-computing System http://open.eucalyptus.com/documents/nurmi_et_al-eucalyptus_open_source_cloud_computing_system-c ca_2008.pdf
[30] An Assessment of Eucalyptus Version1.4.
http://dspace.ucalgary.ca/bitstream/ 1880/47206/1/2009-928-07.pdf
[31] http://workspace.globus.org/
[32] http://www.enomalism.com/
[33] http://sector.sourceforge.net/
[34]Yunhong Gu, Robert Grossman, Sector and Sphere: The Design and Implementation of a High Performance Data Cloud, Theme Issue of the Philosophical Transactions of the Royal Society A: Crossing Boundaries: Computational Science, E-Science and Global E-Infrastructure, 28 June 2009 vol. 367 no. 1897 2429-2445.