随笔分类 -  Azure Data Factory

摘要:一,引言 在实际的项目中,Azure Data Factroy 中的 Data Flow 并不能彻底帮我们完成一系列复制逻辑计算, 比如我们需要针对数据集的每一行数据进行判断计算,Data Flow 就显的有些吃力。别怕,Azure Data Factory 提供了调用 Azure Function 阅读全文
posted @ 2024-02-01 17:42 Grant_Allen 阅读(327) 评论(0) 推荐(1) 编辑
摘要:一,引言 上一篇文字,我们初步对 Data Flow 有个简单的了解,也就是说可以使用 Data Flow 完成一些复杂的逻辑,如,数据计算,数据筛选,数据清洗,数据整合等操作,那我们今天就结合 Data Flow 中的常用数据转换逻辑拉演示在实际场景中如何实现。 Task1:将数据源的数据进行分组 阅读全文
posted @ 2024-01-11 22:23 Grant_Allen 阅读(458) 评论(0) 推荐(1) 编辑
摘要:一,引言 随着大数据技术的不断发展,数据处理和分析变得越来越重要。为了满足企业对数据处理的需求,微软推出了 Azure Data Factory (ADF),它是一个云端的数据集成服务,用于创建、安排和管理数据工作流。在本文中,我们将重点介绍 Azure Data Factory 的数据流(Data 阅读全文
posted @ 2023-11-06 22:38 Grant_Allen 阅读(682) 评论(0) 推荐(1) 编辑
摘要:一,引言 在本文中,我们将继续了解什么是 Azure Data Factory,Azure Data Factory 的工作原理,Azure Data Factory 数据工程中的数据管道,并了解继承运行时 IR。 我是分割线 1,Azure Data Factory(一)入门简介 2,Azure 阅读全文
posted @ 2023-09-25 14:25 Grant_Allen 阅读(814) 评论(0) 推荐(0) 编辑
摘要:一,引言 如下图所示,今天我们接着上一篇内容,继续讲解 Azure Data Factory 中的数据集连接服务的认证方式:Service Principal 关于 Service Principal 的创建 可以参考:Azure AD(四)知识补充-服务主体 至于需要给 Service Princ 阅读全文
posted @ 2023-09-15 15:15 Grant_Allen 阅读(308) 评论(0) 推荐(1) 编辑
摘要:一,引言 上一篇文章中,我们讲解了 Azure Data Factory 在设置数据集类型为 Dataverse 的时候,如何连接测试。今天我们继续讲解认证方式这一块内容,打开 Link Service 可以看到多种认证方式,由于上一届已演示了 Office365 的认证方式,那么今天就着重讲解一下 阅读全文
posted @ 2023-09-08 17:45 Grant_Allen 阅读(332) 评论(0) 推荐(1) 编辑
摘要:一,引言 之前有讲过 Azure Data Factory 的 Copy Data 的操作,演示了将 Blob Storage1 的数据通过 Azure Data Factory 复制到 Blob Storage2 中,今天我们玩一个不一样的,Azure Dataverse -》 Azure Dat 阅读全文
posted @ 2023-08-25 23:04 Grant_Allen 阅读(407) 评论(0) 推荐(0) 编辑
摘要:一,引言 之前讲解的ADF 集成Azure DevOps 实现CI/CD,在 Releases Pipeline 阶段,我们是将两个 Blob Storage 的链接字符串复制、粘贴到 ”Override template parameters“,这样虽然说实现了对应的功能,但是也暴露出一定的问题, 阅读全文
posted @ 2020-11-16 20:55 Grant_Allen 阅读(910) 评论(9) 推荐(11) 编辑
摘要:一,引言 上一篇有介绍到使用Azure Data Factory 复制数据,然后有集成 Azure DevOps 实现CI/CD,但是对于真正的项目来说,这些肯定是不够的,比如说在执行 Azure Pipeline 的过程中的监视,监视 Pipeline 的状态,想通过邮件的方式接受监视信息。 我是 阅读全文
posted @ 2020-11-11 21:00 Grant_Allen 阅读(1852) 评论(12) 推荐(13) 编辑
摘要:一,引言 由于上一节文章内容过长,无法分享Azure Data Factory 的持续集成,持续发布。今天将着重介绍一下在使用 Azure DevOps Pipeline 发布,自动进行持续集成,并且已自动化发布,将Azure Data Factory 部署到多个环境中。 其实大家也不必惊讶,这里的 阅读全文
posted @ 2020-11-04 22:30 Grant_Allen 阅读(2328) 评论(7) 推荐(11) 编辑
摘要:一,引言 上一篇主要只讲了Azure Data Factory的一些主要概念,今天开始新的内容,我们开始通过Azure DevOps 或者 git 管理 Azure Data Factory 中的源代码,同时创建 Pipleline 将 Azure Blob1 的 Container 的数据通过 C 阅读全文
posted @ 2020-11-02 16:51 Grant_Allen 阅读(3088) 评论(9) 推荐(12) 编辑
摘要:一,引言 今天分享一个新的Azure 服务 Azure Data Factory(Azure 数据工厂),怎么理解,参考根据官方解释 数据工厂解释:大数据需要可以启用协调和操作过程以将这些巨大的原始数据存储优化为可操作的业务见解的服务。 Azure 数据工厂是为这些复杂的混合提取-转换-加载 (ET 阅读全文
posted @ 2020-10-29 15:33 Grant_Allen 阅读(5955) 评论(10) 推荐(23) 编辑

点击右上角即可分享
微信分享提示