Airflow 的登录配置
摘要:参考:http://www.360doc.com/content/18/0206/20/33459258_728200560.shtml
阅读全文
posted @
2019-10-31 00:08
lshan
阅读(803)
推荐(0) 编辑
airflow CeleryExecutor 配置(2)
摘要:celery 是分布式任务队列,与调度工具 airflow 强强联合,可实现复杂的分布式任务调度,这就是 CeleryExecutor,有了 CeleryExecutor,你可以调度本地或远程机器上的作业,实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor 操作步
阅读全文
posted @
2019-10-31 00:05
lshan
阅读(991)
推荐(0) 编辑
airflow使用mysql数据库,LocalExecutor并发调度(1)
摘要:安装Mysql (否则后面 pip install mysql) 无法安装 pip 依赖: airflow-LocalExecutor mysql-airflow pip install mysqlclient 在mysql上执行 create database airflow; —— 创建数据库
阅读全文
posted @
2019-10-30 23:41
lshan
阅读(1765)
推荐(0) 编辑
airflow 的安装与配置(1)
摘要:使用请参考官网: https://airflow.apache.org/ 具体配置,依赖,可以参考:https://www.jianshu.com/p/5c17846835e7 0. 环境: python 3.7 1.设置环境变量: 默认的配置 如果不修改airflow 配置文件 $AIRFLOW_
阅读全文
posted @
2019-10-29 12:09
lshan
阅读(1719)
推荐(0) 编辑
python @retry request
摘要:依赖:pip install retrying 在爬虫代码的编写中,requests请求网页的时候常常请求失败或错误,一般的操作是各种判断状态和超时,需要多次重试请求,这种情况下,如果想优雅的实现功能,可以学习下retrying包下的retry装饰器的使用 安装:pip install retryi
阅读全文
posted @
2019-10-28 14:36
lshan
阅读(680)
推荐(0) 编辑
uubuntu 搜狗(sougou)输入法
摘要:参考: http://www.pianshen.com/article/7842255678/ 问题:出现两个图标:
阅读全文
posted @
2019-10-23 15:27
lshan
阅读(350)
推荐(0) 编辑
filebrowser 搭建远程文件管理器(docker 版本安装) 文件系统
摘要:官网文档:https://filebrowser.xyz/installation 准备: sudo mkdir -p /opt/files sudo chmod -R 755 /opt/files 将 /opt/files/ 文件夹提供给外部访问修改 docker run -itd -v /opt
阅读全文
posted @
2019-10-21 22:49
lshan
阅读(2831)
推荐(0) 编辑
开启、关闭ubuntu防火墙
摘要:前言 防火墙(Firewall),也称防护墙。它是一种位于内部网络与外部网络之间的网络安全系统。一项信息安全的防护系统,依照特定的规则,允许或是限制传输的数据通过。 防火墙对于我们的网络安全的重要性不言而喻 但是在实际的开发过程中 我们有可能会 需要开启、关闭防火墙 那么 Ubuntu中怎么管理防火
阅读全文
posted @
2019-10-18 18:04
lshan
阅读(365)
推荐(0) 编辑
python str byte 互转
摘要:# bytes object b = b"example" # str object s = "example" # str to bytes bytes(s, encoding = "utf8") # bytes to str str(b, encoding = "utf-8") # an alternative ...
阅读全文
posted @
2019-10-17 12:25
lshan
阅读(549)
推荐(0) 编辑
Java 获取系统cpu 内存 占用情况
摘要:原文链接:https://blog.csdn.net/CallMeV6/article/details/83176840 说明:获取的数据是操作系统整体的资源占用情况,不是当前 java进程占用的资源 1. 获取系统CPU占用情况 : import java.lang.management.Mana
阅读全文
posted @
2019-10-15 23:08
lshan
阅读(2684)
推荐(0) 编辑
python -config-ini 配置文件的使用
摘要:参考: https://www.cnblogs.com/hanmk/p/9843136.html https://www.cnblogs.com/wangjian1226/p/10448752.html python使用自带的configparser模块用来读取配置文件,配置文件的形式类似windo
阅读全文
posted @
2019-10-15 00:13
lshan
阅读(1889)
推荐(0) 编辑
python mysql
摘要:参考: https://www.runoob.com/python3/python3-mysql.html
阅读全文
posted @
2019-10-12 18:48
lshan
阅读(144)
推荐(0) 编辑
Schema一种优雅的数据验证方式 validation python
摘要:参考:https://segmentfault.com/a/1190000011777230 https://blog.csdn.net/weixin_34323858/article/details/88951728
阅读全文
posted @
2019-10-12 14:12
lshan
阅读(1016)
推荐(0) 编辑
python 多线程 (线程池的几种使用)(2)
摘要:参考自定义线程池:https://www.cnblogs.com/zhang293/p/7954353.html 原密解析: https://www.jianshu.com/p/b9b3d66aa0be 最佳线程数的获取: 1、通过用户慢慢递增来进行性能压测,观察QPS(即每秒的响应请求数,也即是最
阅读全文
posted @
2019-10-11 15:29
lshan
阅读(718)
推荐(0) 编辑
python 多线程-带返回值 (1)
摘要:一般线程的使用: 参考; https://www.runoob.com/python3/python3-multithreading.html 带返回值
阅读全文
posted @
2019-10-11 15:24
lshan
阅读(1053)
推荐(0) 编辑
python email 邮件
摘要:. . .参考:https://www.runoob.com/python3/python3-smtp.html #encoding=utf-8 ''' Created on 2019年10月11日 @author: sea ''' import smtplib from email.mime.te
阅读全文
posted @
2019-10-11 13:54
lshan
阅读(224)
推荐(0) 编辑
python mongo
摘要:参考菜鸟教程: https://www.runoob.com/python3/python-mongodb.html pip3 install pymongo 创建数据库,表,添加数据 #encoding=utf-8 #!/usr/bin/python3 import pymongo myclien
阅读全文
posted @
2019-10-10 18:31
lshan
阅读(188)
推荐(0) 编辑
flask 入门(1) python
摘要:参考:https://blog.csdn.net/freeking101/article/details/100174215 文件上传 用 Flask 处理文件上传很简单。只要确保你没忘记在 HTML 表单中设置enctype="multipart/form-data" 属性,不然你的浏览器根本不会
阅读全文
posted @
2019-10-10 17:44
lshan
阅读(173)
推荐(0) 编辑
python 定义接口 flask
摘要:From:http://docs.jinkan.org/docs/flask/quickstart.html Flask 用户指南:http://docs.jinkan.org/docs/flask/index.html w3cschool.cn 的 Flask 教程:https://www.w3c
阅读全文
posted @
2019-10-10 17:32
lshan
阅读(508)
推荐(0) 编辑
kafka python 多线程,手动提交 指定partion offset
摘要:原文:https://blog.csdn.net/xiaofei2017/article/details/80924800 #encoding=utf-8 ''' @author: sea ''' import threading import os import sys from kafka im
阅读全文
posted @
2019-10-10 13:44
lshan
阅读(2308)
推荐(0) 编辑
httpUtils python verify = False
摘要:依赖: pip install requests pip install retrying python 项目中: ###################### httpUtils start ########################## def _result(result): retur
阅读全文
posted @
2019-10-09 18:13
lshan
阅读(790)
推荐(0) 编辑
python 日志 logger logging.StreamHandler()
摘要:参考修改:https://www.jianshu.com/p/ca192138806e 日志要能够以 json 格式写入文件,且日志文件能够通过文件大小或是时间截断 调试过程,日志能够清晰漂亮的格式打印到控制台,即标准输出 依赖 python 本身的 logging 模块,还依赖了 python-j
阅读全文
posted @
2019-10-09 15:37
lshan
阅读(344)
推荐(0) 编辑
python 单元测试
摘要:参考:https://www.jianshu.com/p/d2bb64a4b819
阅读全文
posted @
2019-10-08 09:51
lshan
阅读(153)
推荐(0) 编辑
windows系统下Python环境的搭建
摘要:安装参考: https://www.cnblogs.com/lizm166/p/8092719.html eclipse pydev:https://www.cnblogs.com/xdzy/p/9458635.html
阅读全文
posted @
2019-10-07 19:54
lshan
阅读(180)
推荐(0) 编辑