摘要： 指定offset: #pip install kafka-pythonimport gzip from kafka import KafkaConsumer from kafka import TopicPartition consumer = KafkaConsumer(bootstrap_ser 阅读全文

摘要： 执行SQL： 阅读全文

摘要： 参考：http://www.360doc.com/content/18/0206/20/33459258_728200560.shtml 阅读全文

摘要： celery 是分布式任务队列，与调度工具 airflow 强强联合，可实现复杂的分布式任务调度，这就是 CeleryExecutor，有了 CeleryExecutor，你可以调度本地或远程机器上的作业，实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor 操作步 阅读全文

摘要： 安装Mysql (否则后面 pip install mysql) 无法安装 pip 依赖： airflow-LocalExecutor mysql-airflow pip install mysqlclient 在mysql上执行 create database airflow; —— 创建数据库 阅读全文

摘要： 使用请参考官网： https://airflow.apache.org/ 具体配置，依赖，可以参考：https://www.jianshu.com/p/5c17846835e7 0. 环境： python 3.7 1.设置环境变量： 默认的配置 如果不修改airflow 配置文件 $AIRFLOW_ 阅读全文

摘要： 依赖：pip install retrying 在爬虫代码的编写中，requests请求网页的时候常常请求失败或错误，一般的操作是各种判断状态和超时，需要多次重试请求，这种情况下，如果想优雅的实现功能，可以学习下retrying包下的retry装饰器的使用 安装：pip install retryi 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

摘要： 参考： http://www.pianshen.com/article/7842255678/ 问题：出现两个图标： 阅读全文