随笔分类 - ApacheCN
摘要：译者： "bat67" 最新版会在 "译者仓库" 首先同步。 在这个教程里，我们将学习如何使用数据并行（ ）来使用多GPU。 PyTorch非常容易的就可以使用GPU，可以用如下方式把一个模型放到GPU上： 然后可以复制所有的张量到GPU上： 请注意，调用 返回一个GPU上的 副本，而不是重写 。我
阅读全文
摘要：译者： "bat67" 最新版会在 "译者仓库" 首先同步。 目前为止，我们以及看到了如何定义网络，计算损失，并更新网络的权重。 现在可能会想， 数据呢？ 通常来说，当必须处理图像、文本、音频或视频数据时，可以使用python标准库将数据加载到numpy数组里。然后将这个数组转化成 。 对于图片，有
阅读全文
摘要：译者： "bat67" 最新版会在 "译者仓库" 首先同步。 可以使用 包来构建神经网络. 我们以及介绍了 ，`nn autograd nn.Module forward(input) output`。 例如，下面这个神经网络可以对数字进行分类： 这是一个简单的前馈神经网络（feed forward
阅读全文
摘要：译者： "bat67" 最新版会在 "译者仓库" 首先同步。 PyTorch中，所有神经网络的核心是 包。先简单介绍一下这个包，然后训练我们的第一个的神经网络。 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义（define by run）的框架，这意味着反向传播是根据代码如何运行来决定
阅读全文
摘要：译者： "bat67" 最新版会在 "译者仓库" 首先同步。 PyTorch是一个基于python的科学计算包，主要针对两类人群： 作为NumPy的替代品，可以利用GPU的性能进行计算 作为一个高灵活性、速度快的深度学习平台 入门 张量 （张量）类似于 的`ndarray`，但还可以在GPU上使用来
阅读全文
摘要：参与方式： 整体进度： 项目仓库： 贡献指南 请您勇敢地去翻译和改进翻译。虽然我们追求卓越，但我们并不要求您做到十全十美，因此请不要担心因为翻译上犯错——在大部分情况下，我们的服务器已经记录所有的翻译，因此您不必担心会因为您的失误遭到无法挽回的破坏。（改编自维基百科） 可能有用的链接： + "1.0
阅读全文
摘要：【主页】 apachecn.org 【Github】@ApacheCN 暂时下线: 社区 暂时下线: cwiki 知识库 自媒体平台 微博：@ApacheCN 知乎：@ApacheCN CSDN 简书 OSChina 博客园 我们不是 Apache 的官方组织/机构/团体，只是 Apache 技术栈
阅读全文
摘要：Airflow Platform是用于描述，执行和监控工作流的工具。 核心理念 DAG的 在Airflow中， DAG （或定向非循环图）是您要运行的所有任务的集合，以反映其关系和依赖关系的方式进行组织。 例如，一个简单的DAG可以包含三个任务：A，B和C.可以说A必须在B可以运行之前成功运行，但C
阅读全文
摘要：使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据。 Airflow提供了一个简单的查询界面来编写SQL并快速获得结果，以及一个图表应用程序，可以让您可视化数据。 临时查询 adhoc查询UI允许与Airflow中注册的数据库连接进行简单的SQL交互。 https://airflow.a
阅读全文
摘要：通过Airflow UI，您可以轻松监控数据管道并对其进行故障排除。 以下是您可以在Airflow UI中找到的一些功能和可视化的快速概述。 DAGs查看 您环境中的DAG列表，以及一组有用页面的快捷方式。 您可以一目了然地查看成功，失败或当前正在运行的任务数量。 https://airflow.a
阅读全文
摘要：Airflow具有一组固定的“测试模式”配置选项。 您可以随时通过调用airflow.configuration.load_test_config()来加载它们（注意此操作不可逆！）。 但是，在您有机会调用load_test_config（）之前，会加载一些选项（如DAG_FOLDER）。 为了急切
阅读全文
摘要：Airflow可以与基于系统的系统集成。 这使得观察您的守护进程变得容易，因为systemd可以在失败时重新启动守护进程。 在scripts/systemd目录中，您可以找到已在基于Redhat的系统上测试过的单元文件。 您可以将它们复制到/usr/lib/systemd/system 。 假设Ai
阅读全文
摘要：Airflow可以与基于upstart的系统集成。 Upstart会在系统启动时自动启动/etc/init具有相应*.conf文件的所有气流服务。 失败时，upstart会自动重启进程（直到达到*.conf文件中设置的重新生成限制）。 您可以在scripts/upstart目录中找到示例新贵作业文件
阅读全文
摘要：有两种方法可以将气流作为mesos框架运行： 任务直接在mesos从站上执行 MesosExecutor允许您在Mesos群集上安排气流任务。 为此，您需要一个正在运行的mesos集群，并且必须执行以下步骤 - 阅读全文／改进本文
阅读全文
摘要：在本地编写日志 用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下，它位于AIRFLOW_HOME目录中。 此外，用户可以提供远程位置，以便在云存储中存储日志和日志备份。 在Airflow Web UI中，本地日志优先于远程日志。 如果找不到或访问本地
阅读全文
摘要：CeleryExecutor是您扩展工人数量的方法之一。 为此，您需要设置Celery后端（ RabbitMQ ， Redis ，...）并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。 有关设置Celery代理的更多信息，请参阅有关该主题的
阅读全文
摘要：DaskExecutor允许您在Dask分布式群集中运行Airflow任务。 Dask集群可以在单个机器上运行，也可以在远程网络上运行。 有关完整详细信息，请参阅分布式文档 。 要创建集群，首先启动调度程序： 接下来，在任何可以连接到主机的计算机上启动至少一个Worker： 阅读全文／改进本文
阅读全文
摘要：默认情况下，Airflow将在元数据数据库中以纯文本格式保存连接的密码。 在安装过程中强烈建议使用crypto包。 crypto包确实要求您的操作系统安装了libffi-dev。 如果最初未安装crypto软件包，您仍可以通过以下步骤为连接启用加密： 3.将airflow.cfg fernet_ke
阅读全文
摘要：如果您想对Airflow进行真正的试驾，您应该考虑设置一个真正的数据库后端并切换到LocalExecutor。 由于Airflow是使用优秀的SqlAlchemy库与其元数据进行交互而构建的，因此您应该能够使用任何支持作为SqlAlchemy后端的数据库后端。 我们建议使用MySQL或Postgre
阅读全文
摘要：操作器代表一个理想情况下是幂等的任务。 操作员确定DAG运行时实际执行的内容。 有关更多信息，请参阅Operators Concepts文档和Operators API Reference 。 BashOperator 模板 故障排除 找不到Jinja模板 PythonOperator 传递参数 模
阅读全文