Python线程池

Python线程池详细操作教程

假设我们必须为多线程任务创建大量线程。由于线程过多，可能会出现许多性能问题，因此这将是计算上最昂贵的。一个主要问题可能是吞吐量受到限制。我们可以通过创建线程池来解决此问题。线程池可以定义为一组预初始化和空闲的线程，它们随时可以工作。当我们需要执行大量任务时，与为每个任务实例化新线程相比，创建线程池更为可取。线程池可以管理大量线程的并发执行，如下所示：-

如果线程池中的线程完成其执行，则可以重用该线程。
如果某个线程终止，则将创建另一个线程来替换该线程。

Python模块– Concurrent.futures

Python标准库包含
concurrent.futures 模块。在Python 3.2中添加了此模块，以为开发人员提供启动异步任务的高级接口。这是Python线程和多处理模块之上的抽象层，用于提供使用线程或进程池运行任务的接口。

在我们随后的部分中，我们将学习并发模块的不同类。

Executor类

Executor是
concurrent.futures Python模块的抽象类。它不能直接使用，我们需要使用以下具体子类之一-

ThreadPoolExecutor
ProcessPoolExecutor

ThreadPoolExecutor –一个具体的子类

它是Executor类的具体子类之一。子类使用多线程，并且我们获得了用于提交任务的线程池。该池将任务分配给可用线程，并安排它们运行。

如何创建ThreadPoolExecutor？

借助于
concurrent.futures 模块及其具体的子类
Executor ，我们可以轻松地创建线程池。为此，我们需要构造一个
ThreadPoolExecutor ，其中包含我们要在池中使用的线程数。默认情况下，该数字为5。然后我们可以将任务提交到线程池。当我们
submit()一个任务时，我们得到一个
Future 。 Future对象具有一个称为
done()的方法，该方法指示未来是否已解决。这样，已为该特定将来的对象设置了一个值。任务完成后，线程池执行程序将值设置为将来的对象。

示例

 # Filename : example.py
# Copyright : 2020 By Bianchenghao6
# Author by : bianchenghao6.com
# Date : 2020-08-22
 from concurrent.futures import ThreadPoolExecutor
 from time import sleep
 def task(message):
    sleep(2)
    return message
 def main():
    executor = ThreadPoolExecutor(5)
    future = executor.submit(task, ("Completed"))
    print(future.done())
    sleep(2)
    print(future.done())
    print(future.result())
 if __name__ == '__main__':
 main()

输出

 # Filename : example.py
# Copyright : 2020 By Bianchenghao6
# Author by : bianchenghao6.com
# Date : 2020-08-22
 False
 True
 Completed

在上面的示例中，已使用5个线程构造了
ThreadPoolExecutor 。然后，将在发出消息之前等待2秒钟的任务被提交给线程池执行程序。从输出中可以看到，该任务要等到2秒后才能完成，因此第一次调用
done()将返回False。 2秒后，任务完成，我们通过调用
result()方法获得未来的结果。

实例化ThreadPoolExecutor –上下文管理器

实例化
ThreadPoolExecutor 的另一种方法是在上下文管理器的帮助下。它的工作原理与以上示例中使用的方法类似。使用上下文管理器的主要优点是它在语法上看起来不错。可以在以下代码的帮助下完成实例化-

 # Filename : example.py
# Copyright : 2020 By Bianchenghao6
# Author by : bianchenghao6.com
# Date : 2020-08-22
 with ThreadPoolExecutor(max_workers = 5) as executor

示例

以下示例是从Python文档中借来的。在此示例中，首先必须导入
concurrent.futures 模块。然后创建一个名为
load_url()的函数，该函数将加载请求的URL。然后，该函数使用池中的5个线程创建
ThreadPoolExecutor 。
ThreadPoolExecutor 已被用作上下文管理器。我们可以通过调用
result()方法获得未来的结果。

 # Filename : example.py
# Copyright : 2020 By Bianchenghao6
# Author by : bianchenghao6.com
# Date : 2020-08-22
 import concurrent.futures
 import urllib.request
 URLS = ['http://www.foxnews.com/',
    'http://www.cnn.com/',
    'http://europe.wsj.com/',
    'http://www.bbc.co.uk/',
    'http://some-made-up-domain.com/']
 def load_url(url, timeout):
    with urllib.request.urlopen(url, timeout = timeout) as conn:
    return conn.read()
 with concurrent.futures.ThreadPoolExecutor(max_workers = 5) as executor:
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
    url = future_to_url[future]
    try:
       data = future.result()
    except Exception as exc:
       print('%r generated an exception: %s' % (url, exc))
    else:
       print('%r page is %d bytes' % (url, len(data)))

输出

以下将是上述Python脚本的输出-

 # Filename : example.py
# Copyright : 2020 By Bianchenghao6
# Author by : bianchenghao6.com
# Date : 2020-08-22
 'http://some-made-up-domain.com/' generated an exception: <urlopen error [Errno 11004] getaddrinfo failed>
 'http://www.foxnews.com/' page is 229313 bytes
 'http://www.cnn.com/' page is 168933 bytes
 'http://www.bbc.co.uk/' page is 283893 bytes
 'http://europe.wsj.com/' page is 938109 bytes

使用Executor.map()函数

Python
map()函数被广泛用于许多任务。这样的任务之一是将特定功能应用于可迭代对象中的每个元素。同样，我们可以将迭代器的所有元素映射到一个函数，并将它们作为独立的作业提交给
ThreadPoolExecutor 。考虑下面的Python脚本示例，以了解该函数的工作原理。

示例

在下面的示例中，map函数用于将
square()函数应用于values数组中的每个值。

 # Filename : example.py
# Copyright : 2020 By Bianchenghao6
# Author by : bianchenghao6.com
# Date : 2020-08-22
 from concurrent.futures import ThreadPoolExecutor
 from concurrent.futures import as_completed
 values = [2,3,4,5]
 def square(n):
    return n * n
 def main():
    with ThreadPoolExecutor(max_workers = 3) as executor:
       results = executor.map(square, values)
 for result in results:
       print(result)
 if __name__ == '__main__':
    main()

输出

上面的Python脚本生成以下输出-

 # Filename : example.py
# Copyright : 2020 By Bianchenghao6
# Author by : bianchenghao6.com
# Date : 2020-08-22
 4
 9
 16
 25

Python基准分析

Python进程池