python进程和线程

爬虫开发过程中 进程和线程的概念是非常重要的  提高爬虫的 工作效率 打造分布式爬虫

都离不开进程和线程的身影  

多进程 多线程  协程  分布式进程等四个方面

------

使用os模块中的fork方法

使用multiprocessing模块

前者仅仅适用Unix/Linux操作系统

对windows不支持

后者是跨平台的实现方式

------

fork方法来自于Unix/Linux操作系统中提供的一个fork系统调用

这个方法非常特殊,

普通的方法都是调用一次 返回一次

而fork方法是调用一次 返回两次

原因在于  操作系统将当前进程(父进程) 复制出一份进程(子进程)

这两个进程几乎完全相同

fork方法分别在父进程和子进程返回

--

子进程中永远返回0

父进程中返回的子进程 的ID

---

os模块中getid方法用于获取当前进程的ID

getpid用于获取父进程的ID

-----

 

 

-0--------

宁波诺丁汉大学

--------)-----

 

posted @ 2018-07-04 11:59  duxiao123  阅读(109)  评论(0编辑  收藏  举报