can only join a child process

上次 gevent.hub.BlockingSwitchOutError: Impossible to call blocking function in the event loop callback 这篇文章记录的优雅退出的问题,前后还有些东西想记录一下。

一开始遇到的问题是本地运行某个服务(声明一下不是我写的),ctrl+c 结束时报错:

  File "/usr/local/lib/python3.6/multiprocessing/process.py", line 122, in join
    assert self._parent_pid == os.getpid(), 'can only join a child process'

经过调查(看代码查资料),发现原来是因为在启动多进程之前注册了信号处理的回调函数,并且在回调函数最后执行了对多进程的 join。有点像这样:

def run(self):
        ...

def start(self):
    # 注册 SIGINT 信号的回调函数
    signal.signal(signal.SIGINT, self.graceful_exit)

    # 启动一个心跳协程
    self.heartbeat_task = gevent.spawn(self.heartbeat)

    # 创建子进程
    self.workers = [multiprocessing.Process(
        target=self.run) for _ in range(4)]
    for worker in self.workers:
        worker.start()

def graceful_exit(self, sig, frame):
    ...
    # join 是等待进程结束
    for worker in self.workers:
        worker.join()

另外一点是,还在创建子进程前创建了一个 gevent 协程。而被用来的开发者忽略掉的重要问题就是:

创建子进程,也就是调用了操作系统的 fork,而 fork 会继承当前进程的信号处理回调函数以及协程,其实就是拷贝了整个当前进程,准确点说是写时拷贝,如果只是读的话,那读的都和原来进程是同一个内存。

明白了这一点,问题就很清晰了。

posted @   水郁  阅读(397)  评论(1编辑  收藏  举报
编辑推荐:
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 周边上新:园子的第一款马克杯温暖上架
历史上的今天:
2016-11-30 【USACO 3.2】Sweet Butter(最短路)
2016-11-30 【USACO 3.2】Magic Squares
2015-11-30 【codevs1014/1068】背包型动态规划
欢迎这位怪蜀黍来到《can only join a child process - 水郁 - 博客园》
点击右上角即可分享
微信分享提示