摘要:
一般我们用python读取数据库的时候都是使用pymysql包,正常流程是根据连接四要素创建connection,通过connection建立curosr, 然后cusror.execute(sql),cursor.fetchall()获取结果数据。 但是当数据量非常大的时候,网络会是非常不稳定的因 阅读全文
摘要:
python读取文件有两个重要的方法f.tell()和f.seek() 通过这两个方法就可以实现文件的断点续传,tell可以实时返回读取文件的偏移量,seek可以直接跳转到这个偏移量 只要在异常中断之前将文件的偏移量记录下来,之后继续执行的时候就可以从这个偏移量开始读起, 备注:从中间开始移动指针在 阅读全文
摘要:
如有一个可执行命令cmd,希望在python中执行,有几种方法 一、os.system(cmd) 这种方式之前有日志,突然没有了 二、os.popen(cmd) 下面这么写可以有日志 f = os.popen(cmd) print(f.read()) 三、subprocess.Popen(cmd) 阅读全文
摘要:
默认在airflow中每个task都是独立的进程,无法进行数据交换,但airflow还提供了一个XCom功能,以满足用户的类似需求 下面我们创建两个dag,其中一个push数据,一个pull数据,如下的dag中的task(push)执行完后会推送一条数据到xcom表,key=push ,value= 阅读全文
摘要:
一、python项目打包 python项目打包在项目的根目录下增加setup.py文件,基本格式如下 使用python setup.py install即可安装到本地 python3 setup.py bdist_wheel即可打包成.whl包 from setuptools import setu 阅读全文
摘要:
git学习笔记 1.安装git,创建ssh key,把本地内容推送到远程git仓库 ssh-keygen -t rsa -C "youremail@example.com" # git remote add origin git@github.com:wangbin2188/databoard.gi 阅读全文
摘要:
jenkins是一个持续集成工具,是敏捷开发的好帮手,在jenkins出现以前,发布一个项目需要在本地打包,然后发布到服务器上,随着jar包的越来越大,发布变成了一个很痛苦的事情。 jenkins在内部集成了git/maven等插件,实时更新代码到服务器端,在服务器构建,极大提高了构建和发布的效率。 阅读全文
摘要:
airflow是一个常驻任务,我们希望它在任务失败后可以自动重启,systemd可以帮助我们实现这个功能,首先需要配置如下文件 /etc/sysconfig/airflow AIRFLOW_CONFIG=/root/airflow/airflow.cfg AIRFLOW_HOME=/root/air 阅读全文
摘要:
前面三步做完以后,就可以配置airflow的环境变量了 在此之前,可能需要先安装下依赖包 yum install mysql-devel gcc gcc-devel python-devel 之后切换到python36 conda activate py36 找到airflow的安装目录,配置到环境 阅读全文
摘要:
airflow一般以rabbitMQ或redis作为broker,rabbitMQ安装比较复杂,故本次选了redis yum -y install redis sudo vim /etc/redis.conf #bind 127.0.0.1 // 注释掉,使redis允许远程访问 #修改密码为air 阅读全文