爬虫基础知识（陆）

一、多线程爬虫

　　（一）程序、进程与线程：

　　　　程序：相当于一个应用。

　　　　进程：程序运行资源（内存资源）的最小分配单位，一个程序可以有多个进程。

　　　　线程：cpu最小的调度单位，必须依赖进程而存在。线程没有独立资源，所有线程共享该进程的全部资源。

　　　　线程的划分尺度比进程小。

　　（二）为什么多进程和多线程可以提高程序的运行速度？

　　　　1、提高程序的运行速度的第一种方法：提高CPU的利用率。

　　　　　　解决方式：CPU不用休息。----多线程

　　　　　　程序中如果只有一个线程，CPU就只处理它。如果在程序中遇到了阻塞，一旦阻塞了，CPU就休息了，休息的时间里，浪费了CPU的资源。

　　　　　　造成阻塞的方法：

　　　　　　　　a、time.sleep()

　　　　　　　　b、遇到IO

　　　　　　而多线程指多个任务。CPU会在这多个任务之间切换，若其中一个线程阻塞了，CPU不会休息，会处理其他线程。

　　　　2、提高程序运行速度的第二种方法：增加CPU，让每个CPU处理一个任务。

　　　　　　CPU是多核的。---利用CPU的多核进行解决。CPU每一个核处理一个进程。----多进程

　　（三）什么是多线程：

　　　　　　程序中包含多个并行执行流。

二、python中的threading模块

　　1、多线程的开启方法：

　　　　（1）使用threading模块的方法

　　　　　　t=threading.Thread(

　　　　　　　　target=线程执行的任务（方法）名字,

　　　　　　　　args=执行方法的参数，是一个元组类型

　　　　　　　)#创建线程

　　　　　　t.start()#启动线程

　　　　（2）使用自定义类的形式来创建线程

　　　　　　利用面向对象继承的思想。

　　　　　　自定义线程类：

　　　　　　　　a、继承threading.Thread

　　　　　　　　b、保证父类的init方法能够被调用。

　　　　　　　　　　如何调用父类的init方法：

　　　　　　　　　　　　　　super().__init__()

　　　　　　　　　　　threading.Thread.__init__(self)

　　　　　　　　用类去创建线程的步骤：

　　　　　　　　　　1、继承Thread

　　　　　　　　　　2、重写run方法

　　　　　　　　　　3、实例化线程类，就相当于创建一个线程，用这个对象调用start方法，就可以启动这个线程。

　　　　　　　　　　4、如果自定义线程类要实现init方法，必须先调用父类的init方法。

　　2、线程的名称：可以帮助我们测试时了解哪个线程在做哪件事。

　　　　线程对象.name查看：默认是Thread-1，Thread-2....

　　　　自定义名称：其实就是给self.name赋值

　　3、查看线程的数量：

　　　　threading.enumerate()---可以查看当前进程中的线程数量。

　　4、线程的执行顺序是混乱、随机的。

　　　　原因：线程的状态决定。

　　5、死锁的条件：

　　　　死锁的发生会让程序永久阻塞。

　　　　（1）同一个线程，先后获取两次锁对象，在第二次获取锁对象时，会死锁。

　　　　（2）线程a拥有锁1，线程b拥有锁2，线程a在不释放锁1的情况下，试图获取锁2，线程b在不释放锁2的情况下试图获取锁1，此时在获取对方锁的时候，会发生死锁。

三、多线程和多进程

　　1、功能：多线程和多进程都能做到多任务。

　　2、区别：

　　　　（1）关系：一个程序至少有一个进程，一个进程至少有一个线程；

　　　　（2）有无资源：进程拥有独立资源，线程依赖于进程，没有独立资源，所有该进程的线程共享所在进程的所有资源。

　　　　（3）划分尺度：线程的划分尺度小于进程（资源比进程少），使得多线程程序并发性更高。

　　3、优缺点：

　　　　线程：线程的执行开销小，但不利于资源的管理和保存。

　　　　进程：多个进程间相互独立，不利于进程间信息交互。进程拥有独立资源。

　　4、如何选择：

　　　　在设计数据交互频繁的场景，多线程比多进程更加适合。

　　　　在并发程度上，多进程比多线程的效率更高。

　　　　应该按照实际开发情况进行选择。