FME2010 案例分析: 动态批量转换
Link: http://blog.163.com/antufme@126/blog/static/140492492201022545726452/?suggestedreading&wumii
关键词：动态扇出
FME2010 案例分析: 动态批量转换
2010-04-22 14:20:16| 分类： FME 应用案例 | 标签：扇出 |举报|字号 订阅
作者：walh
联系方式：mark.ireland@safe.com
整理：乱马
这个案例是由一个用户在FMETalk用户组提出的问题引出的：
客户在一个目录下有大量的Shape格式的文件。所有这些文件都要被重投影到另一个坐标系。我们正考虑如何进行批量自动化的转换。可以预见的主要问题是，我不能就shape的属性结构进行统一。但是，转换不需要对属性做任何操作，只是将它们复制到目标文件。
能够处理未知属性对于FME2010的动态功能是一件容易的事情。然而，动态工作空间不会做的是重新创建目录结构。事实上，FME默认的行为把所有源数据合并成一个单一的输出数据集。
因此，本文介绍了如何在FME中集成动态和批处理工具。
源数据
本案例采用了FME的标准样例数据FME Sample Dataset。
在默认安装目录C:FMEDataData中，包括了系列的shp格式的数据。我们将会把这些数据重投影到C:FMEDataReprojectedData目录中。
创建一个读取多源数据集的工作空间是非常简单的----同样容易的是，设置它来读取包含数目未知的数据集文件夹。
首先设置源数据和目标数据（都是Shape格式），然后选择"添加目录"图标：十字叉形状
在设置对话框中，通过选择所有子目录的选项，来选择所有源数据目录。
写数据集的参数并不重要- 而事实上它是可选的，所以我甚至不需要设置。最后，确认使用的是动态架构的工作流程，然后单击确定以创建工作空间。它看起来像这样
（下图）：
要注意的是，在目标要素上面没有任何属性，在动态工作空间中是不需要的。源数据要素类型合并了所有的属性到一个shape的数据集，这个对我们不重要。
获取源数据文件夹
我们需要知道所有源数据来自哪个目录，能够在写到目标数据的时候，写入相同的相对路径。可以通过设置要素的fme_dataset属性来进行，因此首先需要打开工作空间中的源要素类的属性定义对话框，选择Format Attributes选项页，选择fme_dataset属性，如下图：
现在这个fme_dataset属性已经可以用了，但是我们需要的是文件夹名称，而不是文件夹+文件名的全名。所以使用FilenamePartExtractor转换器进行文件夹的提取，如下图：
这里我们提取fme_dataset的目录名称，放到一个新的属性new_fme_dataset。
设置输出文件夹
在new_fme_data中，指向的目录为C:\FMEData\Data\xxxx，xxxx包含了源数据shp文件。首先需要替换"Data"到"ReprojectedData"，同时还需要去掉"C:\"，这个在下面将有描述。
注意，在路径设置中，需要双斜杠，因为单斜杠是保留字符，因此需要使用转义字符来保留。现在new_fme_dataset指向了目录FMEData\ReprojectedData\xxxx。
设置扇出
现在进行数据集的扇出设置，对于数据集的扇出需要采用一个属性进行分类，这里采用new_fme_dataset作为扇出属性。
在导航窗体，找到shape写模块的设置中的Fanout参数，并双击它，如下图：
在对话框中来设置：
正如看到的所示，设置C盘根目录C:\为扇出目录（这就是为什么在上面移除C:\）。然后设置扇出的属性条件为new_fme_dataset。
转换数据
所有设置完成后，就可以进行任何我们需要的转换了。案例中进行的是重投影变换。如果shape格式的数据带有一个工程prj，我们就不需要设置读模块的坐标系参数，只是需要设置写模块（目标数据集）。
运行工作空间
进行转换，日志文件就会记录读入多少要素，写出多少要素，如下图：
通过windows资源管理器，可以查看转换后的结果目录：
利用FME Viewer可以查看转换后的数据，属性没有任何变化，只是坐标系发生了改变：
更多的考虑
能够从文件夹和子文件夹中读取一组数据集是非常有用，其中任何文件可以在任何目录位置。更重要的是，这个功能是动态的，在这个意义上讲，在运行时，它才去搜索数据集，不是在创建工作空间的时候。所以，你可以添加和删除任何文件，在转换开始前的准备阶段。扇出是另外一个方法对于多目标输出（或者批处理）。也可以在Worbench中使用菜单File->Batch Deploy的功能，或者组合使用FilePath Reader（文件路径读模块）和WorkspaceRunner函数来运行工作空间，并传递源数据参数到这个工作空间。
你所有的源数据越多，扇出的功能发挥的越好，因为所有的数据都会读入并缓存到一个单独的转换过程。采用其它的方法，你将会降低性能，因为每个源数据都是单独处理的。
FME Server实施
尽管我们没有使用一个Web服务来运行数据转换，但是这个方案有可能利用FME Server来完成。因为FME Server的构架是可伸缩的，所以对于海量数据的处理效果会更好。
在这个案例中，你可以定义使用WorkspaceRunner方法（更多的情况下是FMEServerJobSubmitter方法），因为每个数据集，在批处理过程中，可以在单独的FME转换引擎（FME Engine）上运行，这样可以极大的提高性能和使用系统资源。
我们希望这个案例你能感兴趣，这个能说明动态工作空间为什么重要，同样演示了其他任务，比如批处理中使用扇出功能。
