python 多进程数量对爬虫程序的影响

1. 首先看一下 python 多进程的优点和缺点

多进程优点：
        1.稳定性好：  多进程的优点是稳定性好，一个子进程崩溃了，不会影响主进程以及其余进程。基于这个特性，常常会用多进程来实现守护服务器的功能。
                    然而多线程不足之处在于，任何一个线程崩溃都可能造成整个进程的崩溃，因为它们共享了进程的内存资源池。
        2.能充分利用多核cpu：  由于python设计之初，没预料到多核cpu能够得到现在的发展，只考虑到了单核cpu。为了更好的实现多线程之间数据完整性与状态同步，
          于是设计出了一个全局解析器锁（GIL, global interpreter lock)。
          GIL确保Python进程一次运行一个线程(其它线程处于等待I/O或者睡眠状态)，无论当前cpu有多少核心。这就意味着Python虽然可以实现多线程，
          但是在任意时间点仅有一个核心在执行Python指令（即线程无法并行运算)，无法发挥现代多核cpu的性能。而多进程可以利用多核cpu。

多进程缺点：
        1. 创建进程的代价非常大：   因为操作系统要给每个进程分配固定的资源，并且操作系统对进程的总数会有一定的限制，若进程过多，操作系统调度都会存在问题，会造成假死状态。
        2. 进程间通信成本高：  每个进程都有自己独立的内存空间，不同进程之间的内存空间不共享。进程之间的通信有操作系统传递，导致通讯效率低，切换开销大。
                            通信主要通过信号传递的方式来实现（实现方式有多种，信号量、管道、事件等，通讯都需要过内核，效率低）
        3. 切换开销大：  上下文切换的时候需要保存栈、cpu寄存器、虚拟内存、以及打开的相关句柄等信息，开销大。
　　　　 4. 耗内存：  python 使用multiprocessing来创建多进程时，无论数据是否不会被更改，子进程都会复制父进程的状态(内存空间数据等)。
　　　　　　　　　　　　如果主进程耗的资源较多时，不小心就会造成不必要的大量的内存复制，从而可能导致内存爆满的情况。

二：测试服务器情况：

　　　cpu是12核心，内存是128G