对于Python多处理,使用OMP_NUM_THREADS = 1

这是真的吗？如果是的话,为什么呢？

OpenMP在进程内进行多线程处理,默认线程数通常是CPU实际可以同时运行的数量. (这通常是CPU核心的数量,如果CPU具有SMT功能,如英特尔的超线程,则为该核心数的倍数.)因此,如果您拥有四核非超线程CPU,则OpenMP将想默认运行4个线程.

当您使用Python的多处理模块时,您的程序会启动多个可以同时运行的Python进程.您可以控制进程数,但通常您希望它是CPU核心/线程数,例如由multiprocessing.cpu_count()返回.

那么,如果你运行一个运行4个Python进程的多处理程序,并且每个调用一个OpenMP函数运行4个线程,那么在四核CPU上会发生什么？您最终在4个核心上运行16个线程.这样做可行,但效率不高,因为每个核心都需要花一些时间在任务之间切换.

设置OMP_NUM_THREADS = 1基本上会关闭OpenMP多线程,因此每个Python进程都保持单线程.

但是,如果你这样做,请确保你正在启动足够的Python进程！如果你有4个CPU内核并且你只运行2个单线程Python进程,那么你将使用2个内核,另外2个空闲. (在这种情况下,您可能需要设置OMP_NUM_THREADS = 2.)