SSIS 如何从 Google BigQuery 拉数据到 SQL Server
Google BigQuery 部分配置:
- 配置存储Query ( SSIS 无法从一个view 里拉数据, 所以需要配置Query 存储成一个表)
- 创建 Schedule Query ( 可以根据需要,每天刷新数据,每个星期刷新数据,或者每个月哪一天固定刷新数据)
创建SSIS package:
- 首先安装CData ODBC driver for BigQuery: https://www.cdata.com/drivers/bigquery/download/ssis
- 打开ODBC Data Source Administrator, 配置到BigQuery的ODBC连接:
-
开始配置BQ的连接, TestConnection 按钮是配置登录GoogleBigQuery的,会弹出Web登录页面:
-
打开Visual Studio 2019, 开发 Package 来传输数据:ODBC DataSource -》 OLEDB Destination
-
测试数据传输速度性能: 我测试的结果是没10分钟,传输100万数据