爬虫基础（四）线程 和 进程 及相关知识点

目录

一、线程和进程

（1）进程

（2）线程

（3）区别

二、串行、并发、并行

（1）串行

（2）并行

（3）并发

三、爬虫中的线程和进程

（1）GIL锁

（2）爬虫的多线程

（3）Python的多进程

一、线程和进程

（1）进程

所谓进程，就是正在运行的程序，它占用独立的内存区域

用通俗的话来说：

我们打开媒体播放器，就是打开了一个媒体播放器进程，

打开浏览器，就是打开了一个浏览器进程，

打开某软件，就是打开了某软件进程。

这三个进程之间，相互独立，互不影响。

但是，同样的由于创建和销毁进程需要分配和回收资源，

所以他们的开销较大

（2）线程

所谓线程，就是进程内的执行单元，而多个线程共享进程的内存空间。

比如，在浏览器进程中：

我们一个页面播放音乐

一个页面播放视频

一个页面正在写东西

这三个页面就是三个线程，它们共享该进程的地址空间和其他资源

（3）区别

综上，二者有不同的应用场景：

• 进程：适合需要高度隔离的任务，比如运行不同的应用程序。

• 线程：适合需要高效共享数据和并发执行的任务，比如多任务处理、并行计算。

所以，如果你明白了这个，就明白了单线程和多线程、单进程和多进程了。

（

单线程程序指的是一个进程中只有一个执行线程

多线程程序指的是在一个进程中可以同时有多个执行线程，线程共享进程的资源

单进程指的是一个程序只在一个进程中运行

多进程指的是一个程序可以启动多个独立的进程，每个进程都有自己的内存空间和资源

）

二、串行、并发、并行

（1）串行

任务按照一定的顺序依次执行，每个任务必须等待前一个任务完成后才能开始执行。

串行的概念很简单，不必多说。

即执行完一个任务，再执行一个任务。

（2）并行

多个任务同时运行（需要多核CPU支持）

比如，现在有三个任务a，b，c

并行就是

同时执行a，b，c三个任务

（3）并发

多个任务交替执行（单核CPU即可）

比如，三个任务a，b，c

并发就是

执行a一段时间，再执行b一段时间，再执行c一段时间

然后返回再执行a一段时间，……

这样的行为，可以让单核CPU看起来，也像是同时执行。

三、爬虫中的线程和进程

（1）GIL锁

GIL：互斥锁。作用就是限制多线程同时执行，保证同一时间内只有一个线程在执行。

最初，GIL锁发明是用来：

防止多个线程同时执行 Python 代码而造成数据不一致性的问题。

即，多个线程可能会同时修改共享数据，导致数据不一致

而GIL锁的出现，则可以解决这一问题。

但，这样同时又出现了新的问题：使得 Python 的多线程无法充分利用多核处理器。

即，限制了并行性，使得多个线程的执行还是会被串行化

举个例子：

比如三个任务a，b，c

串行的执行时间=线程A的执行时间+线程B的执行时间+线程C的执行时间。

并发的执行时间=线程A的执行时间+线程B的执行时间+线程C的执行时间+交换线程执行所需时间。

从这上面来看，Python的多线程实现反而不能提高工作效率，还会因交换线程所增加工作时间

（注：这个例子，就叫执行CPU密集型任务时的问题）

（2）爬虫的多线程

根据上文，由于GIL存在，在执行计算密集型任务时，多线程并不能发挥优势

那么它的优势到底在哪呢？

其优势在于IO密集型任务

比如：

在一个程序的进程中，

有些操作需要时间等待（如爬虫时，我们向服务器发起请求，此时遇到等待）

这时，多线程作用就发挥出来了，

它可以在等待的同时，去执行其他操作，从而提高整体效率。

（3）Python的多进程

对于多进程来说，每一个进程都有自己的GIL锁

所以在多核CPU下，多进程能更好的发挥多核优势

当然，这是针对计算密集型任务来说的，而对于IO密集型任务则差别不大

但从整体来看，python中多进程比多线程更有优势