基于Flask 实现多进程并发服务
背景：
看了许多网上关于Flask多进程的介绍，但根本行不通（有直接用flask实现多进程的朋友，麻烦教教我哈）
开始：
下面是基于flask的基础web服务实现的多进程并发思路（该思路已经证明是可行的）
功能：提取图像上的文字，实现并发
1. 写一个flask基本服务，用于接受请求，将传来的图像随机命名为rand.jpg并存到test文件夹，不断检测result文件夹中是否存在rand.txt文件，若存在，解析rand.txt将结果返回，并删除result/rand.txt，若超时则抛错；
2. 使用python的多进程策略，将图像提取文字的功能封装成函数，视为工人，用多进程开启多个工人，用循环让工人一直等待，直到test文件夹存在图像文件，让工人去抢工作（图像）并开始处理，这里需要用Lock的逻辑，不然工人会混乱并且浪费资源，当工人发现图像，立即锁定文件lock.txt，若发现该文件被锁定，则稍等片刻再次尝试锁定文件，直到文件没有被锁定，这时候这个工人先自己把lock.txt锁定，并且获取test文件夹中的图像列表imglist，与lock.txt的文件进行对比，遍历imglist，如果发现图像A.jpg在lock.txt中不存在，则将这个A.jpg添加到lock.txt中，并对lock.txt解除锁定，然后跳出遍历开始对将A.jpg进行处理，处理完成后将处理结果存在result/A.txt中，并删除test中的A.jpg。此时A.txt会被步骤1检测到，至此大功告成。
注意：需要将lock.txt定期删除，否则会增加列表遍历时间，当检测文件存在时，不要立即读取文件，稍等片刻再读取，否则文件在写入的过程就去读取通常会报错
代码：
功能部分tyocr.py
import cv2
import os, fcntl, time
import model
from apphelper.image import union_rbox,adjust_box_to_origin
imgroot = 'test'
locktxt = 'lock.txt'
def find_word(imgpath):
img = cv2.imread(imgpath)
_,result,angle= model.model(img,detectAngle=True,config=dict(MAX_HORIZONTAL_GAP=50,MIN_V_OVERLAPS=0.6,MIN_SIZE_SIM=0.6,TEXT_PROPOSALS_MIN_SCORE=0.1,TEXT_PROPOSALS_NMS_THRESH=0.3,TEXT_LINE_NMS_THRESH = 0.7),leftAdjust=True,rightAdjust=True,alph=0.01)
result = union_rbox(result,0.2)
res = [{'text':x['text'],'name':str(i),'box':{'cx':x['cx'],'cy':x['cy'],'w':x['w'],'h':x['h'],'angle':x['degree']}} for i,x in enumerate(result)]
res = adjust_box_to_origin(img,angle, res)##修正box
txtpath = os.path.join('result', imgpath.split('/')[1].split('.')[0] + '.txt')
print(res)
with open(txtpath, 'w') as f:
for n in res:
str_temp = n['text']
f.write(str_temp)
f.write('\n')
f.close()
if os.path.exists(imgpath):
os.remove(imgpath)
def get_worklist():
list_ = os.listdir(imgroot)
if len(list_) == 0:
if os.path.exists(locktxt):
os.remove(locktxt)
return None
with open(locktxt, 'a') as f:
try:
fcntl.flock(f,fcntl.LOCK_EX|fcntl.LOCK_NB)
try:
list_unwork = os.listdir(imgroot)
list_working = []
if os.path.exists(locktxt):
for n in open(locktxt):
list_working.append(n[:-1])
for m in list_unwork:
if not m in list_working:
f.write(m)
f.write('\n')
fcntl.flock(f, fcntl.LOCK_UN)
f.close()
return os.path.join(imgroot, m)
else:
continue
return None
except:
fcntl.flock(f, fcntl.LOCK_UN) ## 一旦程序出现问题，就解锁不要耽误其他进程
return None
except:
return None
if __name__ == "__main__":
print('======= s t a r t =========')
while True:
imgpath = None
imgpath = get_worklist()
if imgpath == None:
continue
else:
find_word(imgpath)
开启多进程main.py
import os
from multiprocessing import Process
def fun1():
os.system("python tyocr.py")
if __name__ == "__main__":
list_ = []
for i in range(4):
list_.append(Process(target = fun1))
for p in list_:
p.start()
web服务server.py
import os, requests, time
from flask import Flask,render_template,request
import base64
import random
def getRandomSet(bits):
num_set = [chr(i) for i in range(48,58)]
char_set = [chr(i) for i in range(97,123)]
total_set = num_set + char_set
value_set = "".join(random.sample(total_set, bits))
return value_set
app = Flask(__name__)
imgroot = 'test'
txtroot = 'result'
@app.route("/tyocr", methods = ['GET', 'POST'])
def tyocr():
if request.method == "POST":
imgbase64 = request.form.get('imgbase64')
imgdata = base64.b64decode(imgbase64)
randname = getRandomSet(15)
imgrandpath = os.path.join(imgroot, randname + '.jpg')
txtrandpath = os.path.join(txtroot, randname + '.txt')
file = open(imgrandpath,'wb')
file.write(imgdata)
file.close()
count = 0
while True:
time.sleep(0.01)
count = count + 0.01
if count > 20:
return {'sign':-1, 'text':'time out'}
if os.path.exists(txtrandpath):
time.sleep(0.1)
str1 = ''
for n in open(txtrandpath):
str1 = str1 + n
print(str1)
os.remove(txtrandpath)
return {'sign':0, 'text':str1}
else:
continue
else:
return "<h1>Image find words! please use post</h1>"
if __name__ == "__main__":
host = '0.0.0.0'
port = '8090'
app.run(debug=True, host=host, port=port)
