BIML 101 - ETL数据清洗 系列 - BIML 快速入门教程 - 将文本文件(csv)数据导进数据库
第二节 将文本文件数据导进数据库
该小节介绍如何用BIML生成ssis包,将货币文本导入到数据库currency的表中。
SSIS组件:
- Connection Manager组建管理connection,数据库链接和文本链接
- SQL task组件来把Currency表清空
- OELEDE destination来插入数据到目标Currency表
输入 文本文件如下,目标表Currency存在于数据库中。
Currency.csv
CurrencyCode |
Name |
CNY |
元 |
USD |
美元 |
JPY |
日元 |
1. 配置了 一个数据库链接
注意:配置了 一个数据库链接,其他组件要引用connection,它的ConnectionName一定要跟connection
manager链接名字的一致
<Connections > <Connection Name ="OLEDB_Staging" ConnectionString="Data Source=.\SQL2012;Initial Catalog=Staging; Provider=SQLNCLI11.1;Integrated Security=SSPI;Auto Translate=False;"/> </Connections> |
2. 配置SQL Task来清空Currency表
<BIML xmlns="http://schemas.varigence.com/BIML.xsd"> <Connections > <Connection Name ="OLEDB_Staging" ConnectionString="Data Source=.\SQL2012;Initial Catalog=Staging; Provider=SQLNCLI11.1;Integrated Security=SSPI;Auto Translate=False;"/> </Connections> <Packages> <Package Name="Staging" ConstraintMode="Linear"> <Tasks> <ExecuteSQL Name="SQL - Truncate Curreny Staging" ConnectionName="OLEDB_Staging"> <DirectInput>Truncate Table dbo.Currency </DirectInput> </ExecuteSQL> </Tasks> </Package> </Packages> </BIML>
Truncate Table dbo.Currency 用于清空Currency表
3. 验证错误并生成包,打开包如下
可以执行包验证
4. 添加组件,设置执行顺序
注意上文中Package的属性:ConstraintMode="Linear" 用于顺序执行,Parallel用于并发执行。
本节的两个组件需要Linear(顺序)执行。
<BIML xmlns="http://schemas.varigence.com/BIML.xsd"> <FileFormats> <FlatFileFormat Name="FlatFileFormatCurrency" RowDelimiter="LF" ColumnNamesInFirstDataRow="true" IsUnicode="false"> <Columns> <Column Name="CurrencyCode" DataType="String" Length="256" Delimiter="Comma" CodePage="1252" /> <Column Name="Name" DataType="String" Length="256" Delimiter="LF" /> </Columns> </FlatFileFormat> </FileFormats> <Connections > <Connection Name ="OLEDB_Staging" ConnectionString="Data Source=.\SQL2012;Initial Catalog=Staging; Provider=SQLNCLI11.1;Integrated Security=SSPI;Auto Translate=False;"/>
<FlatFileConnection Name="FlatFileCurrency" FileFormat="FlatFileFormatCurrency" FilePath="C:\SourceFile\Currency.csv" /> </Connections> <Packages> <Package Name="Staging" ConstraintMode="Linear"> <Tasks> <ExecuteSQL Name="SQL - Truncate Curreny Staging" ConnectionName="OLEDB_Staging"> <DirectInput> Truncate Table dbo.Currency </DirectInput> </ExecuteSQL> <Dataflow Name="DFT Source"> <Transformations> <FlatFileSource ConnectionName="FlatFileCurrency" Name="FF Source" /> <OleDbDestination ConnectionName="OLEDB_Staging" Name="OLEDB DST Currency"> <ExternalTableOutput Table="Currency"></ExternalTableOutput> </OleDbDestination> </Transformations> </Dataflow> </Tasks> </Package> </Packages> </BIML> |
5. 验证并生成包
可以看到文本组件依赖上面的清空数据组件(箭头顺序)
6. 执行包,查看执行结果,并到数据库中查询Currency表。
7. OK,没问题,文本导入到数据表中了。