基于FT的FDLOAD（gpload）的数据迁移编排注意事项

FT是一个非常高效的ETL工具。相比熟知的KETTLE，他的优点在于：

1. 内置fdload，实现秒级千万级别数据传输（全量爱好者狂笑）
2. 有数据管道的服务，可以实现批量建表、抽取，及CDC增量抽取

后面我会单独再写一篇FT(ETL工具）、FD（GP）的骚操作，让我们见证强大与高效

gpload的本质还是外部表加载，速度这么快，肯定是要一次性把数据填入到内存，再读取的。
因此不可以同时执行太多gpload的任务，同时执行时：要保证

• 内存给够（自行百度jdk1.8内存修改）
• 单个任务的单次加载行数不要太大
• 同时执行的任务要限制
• 保证“真”串行，避免假串行

1. 内存

在FT服务器（linux）上，到FT安装目录

# cd /opt/FineTube
# vi ./FineTube.vmoptions

按 i 输入，将

-XX:-OmitStackTraceInFastThrow

换成

-Xms4096m
-Xmx8192m

注意：这个文件按行读取，所以不要写在一行

2. 单次加载行数

在FT中，

其中，修改临时文件条数限制即可实现

3. 同时执行的任务&真串行

在FT中，我们可以使用“执行任务”组件封装任务。例如：

在“执行的任务”处可以选择封装的任务，在此处选择的将并行执行。

勾选“等待任务完成”，可以实现真正串行：即执行完第一个“执行任务”组件才执行下一个。