摘要：
from airflow.hooks.oracle_hook import OracleHook import sys import argparse oracle_conn = OracleHook.get_hook(conn_id='etbc_oracle') #查数据量 def get_cou 阅读全文
摘要：
import os import tkinter as tk from PIL import Image """ 将python.py文件打包为exe文件 pip install pyinstaller pyinstaller -F photo_process_gui.py """ dpi = 96 阅读全文
摘要：
最近开发环境从Mac又变回Windows，重新配置环境，发现Windows上的软件还是不如Mac上的好用。 一直以来要么就是用开源的软件，要么就是各种破解版，现在的破解版也越来越不好找了，只好都用开源的替代。 一、IDE IDEA社区版： java开发IDE Pycharm社区版：Python开发I 阅读全文
摘要：
在一般的项目中，简单的访问数据库用pymysql就可以了，手写一些SQL也没有什么问题，但是对于一个大型系统，可能面对多次的数据库增删改查操作，如果都用手写SQL实现，代码会显得很难看，开发效率也比较低，这个时候就推荐使用orm框架了。 python的orm框架有很多，我最早接触的是django的内 阅读全文
摘要：
一直想做一个分布式的调度系统，但不知道如何实现类似crontab那样的定时调度，发现有现成的轮子可用，那就是——APSchedule 它有三种调度方式，分别是 date 日期：触发任务运行的具体日期 interval 间隔：触发任务运行的时间间隔 cron 周期：触发任务运行的周期 下面以案例的方式 阅读全文
摘要：
计划用python写一个简单的分布式调度系统，仔细分析了一下发现需要几个子系统，包括连接zk的组件，按时间调度的模块，存储用户的可执行文件的ftp服务等 今天先实现一个小目标，用python做一个FTP服务器，然后实现简单的上传下载功能。 ftp_server.py import configpar 阅读全文
摘要：
重新思考了分布式服务的分工与合作,我梳理了分布式系统的三个角色,重写了上一篇的代码. 众所周知,分布式系统中一般有三个角色,master,worker和client 1.master主服务器监视新的worker和task，将任务分配给可用的工作人员。若worker丢失,将曾经分配给丢失的worker 阅读全文
摘要：
借助zookeeper可以实现服务器的注册与发现,有需求的时候调用zookeeper来发现可用的服务器,将任务均匀分配到各个服务器上去. 这样可以方便的随任务的繁重程度对服务器进行弹性扩容,客户端和服务端是非耦合的,也可以随时增加客户端. zk_server.py import threading 阅读全文
摘要：
zookeeper目前是构建分布式系统的重要组件 #进入zookeeper命令行 zkCli.sh #查看子节点 ls / #创建临时master节点,创建临时workers节点 create -e /master "master2.example.com:2223" create /workers 阅读全文
摘要：
转:https://www.jianshu.com/p/a605fab0ab11 # encoding: UTF-8 # 系统模块 from Queue import Queue, Empty from threading import * ############################# 阅读全文