远大的期望 — 教程 — Paolo Léonard

远大的期望 — 教程 — Paolo Léonard

一个简短的使用教程 远大的期望 ,一个提供包含电池的数据验证的python工具。它包括用于测试、分析和记录数据的工具,并与许多后端集成,例如 pandas 数据帧、Apache Spark、SQL 数据库、Snowflake 等数据仓库解决方案和云存储产品(S3、Azure Blob 存储、GCS)。本教程涵盖了使用 Great Expectations 需要了解的主要概念,并逐步引导您编写和运行您的第一个期望套件。

如果有任何不完整或不清楚的地方,请不要犹豫,打开一个问题!

在线阅读

如果您只想一起阅读,请打开[ tutorial_great_expectations.ipynb](https://github.com/datarootsio/tutorial-great-expectations/blob/main/tutorial_great_expectations.ipynb) 在存储库中,你很高兴!我们确保所有重要的输出都可以在线获得。

如果您想运行教程而不在自己的机器上运行任何东西,您可以 在 Google Colab 中打开它 .

使用 docker 运行

如果你安装了 docker,你可以拉取我们的容器来运行教程:

 docker pull dataroots/tutorial-great-expectations && docker run -it --rm -p 8888:8888 dataroots/tutorial-great-expectations

或者,克隆此存储库并自己构建容器:

 码头工人建造。 -t tutorial-great-expectations && docker run -it --rm -p 8888:8888 tutorial-great-expectations``

接下来,将输出最后一行的 URL 复制粘贴到您喜欢的 Web 浏览器,然后导航到 tutorial_great_expectations 笔记本。享受车程!

不使用 docker 运行

为了在您自己的机器上运行本教程,我们建议使用 虚拟环境 .

  1. 克隆存储库
  2. 安装依赖项: pip install -r requirements.txt .
  3. jupyter笔记本 在根目录中;然后导航到 tutorial_great_expectations 笔记本。

如果你看到 AttributeError:模块 'great_expectations' 没有属性 data_context ,您可能没有安装 Great Expectations。确保它已安装并重新启动内核以解决此问题。

编码

GitHub — datarootsio/tutorial-great-expectations:Great Expectations 库的教程。

Great Expectations 库的教程。通过在 GitHub 上创建帐户,为 datarootsio/tutorial-great-expectations 开发做出贡献。

GitHubdatarootsio

Github 仓库

致谢

由哈斯鳄梨委员会提供的鳄梨数据集, https://hassavocadoboard.com/volume-data-projections/ .

你可能还喜欢

概念数据库的数据质量 — Ricardo Elizondo

> Notion ➕ Great Expectations = 如果您听说过或使用过 Notion(特别是他们的数据库)和 GreatExpectations,您已经可以想象这是什么 。如果没有,请在下面找到 aquick ELI5:查看我们的 Github [https://github.com/datarootsio/notion-dbs-data-quality] 了解更多技术信息……

数据根

great_expectations:编写自定义期望 — Paolo Léonard

如果您像我们在 dataroots 一样处理大量数据,那么您很有可能遇到了相当多的不良数据……

数据根

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明

本文链接:https://www.qanswer.top/37014/53341612

posted @ 2022-09-16 12:53  哈哈哈来了啊啊啊  阅读(289)  评论(0编辑  收藏  举报