摘要：
一般我们用python读取数据库的时候都是使用pymysql包，正常流程是根据连接四要素创建connection,通过connection建立curosr, 然后cusror.execute(sql),cursor.fetchall()获取结果数据。 但是当数据量非常大的时候，网络会是非常不稳定的因 阅读全文
摘要：
python读取文件有两个重要的方法f.tell()和f.seek() 通过这两个方法就可以实现文件的断点续传，tell可以实时返回读取文件的偏移量，seek可以直接跳转到这个偏移量 只要在异常中断之前将文件的偏移量记录下来，之后继续执行的时候就可以从这个偏移量开始读起， 备注：从中间开始移动指针在 阅读全文
摘要：
如有一个可执行命令cmd，希望在python中执行，有几种方法 一、os.system(cmd) 这种方式之前有日志，突然没有了 二、os.popen(cmd) 下面这么写可以有日志 f = os.popen(cmd) print(f.read()) 三、subprocess.Popen(cmd) 阅读全文
摘要：
默认在airflow中每个task都是独立的进程，无法进行数据交换，但airflow还提供了一个XCom功能，以满足用户的类似需求 下面我们创建两个dag,其中一个push数据，一个pull数据，如下的dag中的task（push）执行完后会推送一条数据到xcom表，key=push ,value= 阅读全文
摘要：
一、python项目打包 python项目打包在项目的根目录下增加setup.py文件，基本格式如下 使用python setup.py install即可安装到本地 python3 setup.py bdist_wheel即可打包成.whl包 from setuptools import setu 阅读全文
摘要：
git学习笔记 1.安装git,创建ssh key,把本地内容推送到远程git仓库 ssh-keygen -t rsa -C "youremail@example.com" # git remote add origin git@github.com:wangbin2188/databoard.gi 阅读全文
摘要：
jenkins是一个持续集成工具，是敏捷开发的好帮手，在jenkins出现以前，发布一个项目需要在本地打包，然后发布到服务器上，随着jar包的越来越大，发布变成了一个很痛苦的事情。 jenkins在内部集成了git/maven等插件，实时更新代码到服务器端，在服务器构建，极大提高了构建和发布的效率。 阅读全文
摘要：
airflow是一个常驻任务，我们希望它在任务失败后可以自动重启，systemd可以帮助我们实现这个功能，首先需要配置如下文件 /etc/sysconfig/airflow AIRFLOW_CONFIG=/root/airflow/airflow.cfg AIRFLOW_HOME=/root/air 阅读全文
摘要：
前面三步做完以后，就可以配置airflow的环境变量了 在此之前，可能需要先安装下依赖包 yum install mysql-devel gcc gcc-devel python-devel 之后切换到python36 conda activate py36 找到airflow的安装目录，配置到环境 阅读全文
摘要：
airflow一般以rabbitMQ或redis作为broker，rabbitMQ安装比较复杂，故本次选了redis yum -y install redis sudo vim /etc/redis.conf #bind 127.0.0.1 // 注释掉，使redis允许远程访问 #修改密码为air 阅读全文