浅谈为什么阿里巴巴要禁用Executors创建线程池

时间：2021-07-15 16:28:49

看阿里巴巴开发手册并发编程这块有一条：线程池不允许使用Executors去创建，而是通过ThreadPoolExecutor的方式，通过源码分析禁用的原因

写在前面

首先感谢大家在盖楼的间隙阅读本篇文章，通过阅读本篇文章你将了解到：

  • 线程池的定义
  • Executors创建线程池的几种方式
  • ThreadPoolExecutor对象
  • 线程池执行任务逻辑和线程池参数的关系
  • Executors创建返回ThreadPoolExecutor对象
  • OOM异常测试
  • 如何定义线程池参数

如果只想知道原因可以直接拉到总结那

线程池的定义

管理一组工作线程。通过线程池复用线程有以下几点优点：

  • 减少资源创建 => 减少内存开销，创建线程占用内存
  • 降低系统开销 => 创建线程需要时间，会延迟处理的请求
  • 提高稳定稳定性 => 避免无限创建线程引起的OutOfMemoryError【简称OOM】

Executors创建线程池的方式

根据返回的对象类型创建线程池可以分为三类：

  • 创建返回ThreadPoolExecutor对象
  • 创建返回ScheduleThreadPoolExecutor对象
  • 创建返回ForkJoinPool对象

本文只讨论创建返回 ThreadPoolExecutor 对象

ThreadPoolExecutor对象

在介绍 Executors 创建线程池方法前先介绍一下 ThreadPoolExecutor ，因为这些创建线程池的静态方法都是返回 ThreadPoolExecutor 对象，和我们手动创建 ThreadPoolExecutor 对象的区别就是我们不需要自己传构造函数的参数。 ThreadPoolExecutor 的构造函数共有四个，但最终调用的都是同一个：

  1. public ThreadPoolExecutor(int corePoolSize,
  2. int maximumPoolSize,
  3. long keepAliveTime,
  4. TimeUnit unit,
  5. BlockingQueue<Runnable> workQueue,
  6. ThreadFactory threadFactory,
  7. RejectedExecutionHandler handler)

构造函数参数说明：

  • corePoolSize => 线程池核心线程数量
  • maximumPoolSize => 线程池最大数量
  • keepAliveTime => 空闲线程存活时间
  • unit => 时间单位
  • workQueue => 线程池所使用的缓冲队列
  • threadFactory => 线程池创建线程使用的工厂
  • handler => 线程池对拒绝任务的处理策略

线程池执行任务逻辑和线程池参数的关系

 

 

浅谈为什么阿里巴巴要禁用Executors创建线程池

执行逻辑说明：

  • 判断核心线程数是否已满，核心线程数大小和corePoolSize参数有关，未满则创建线程执行任务
  • 若核心线程池已满，判断队列是否满，队列是否满和workQueue参数有关，若未满则加入队列中
  • 若队列已满，判断线程池是否已满，线程池是否已满和maximumPoolSize参数有关，若未满创建线程执行任务
  • 若线程池已满，则采用拒绝策略处理无法执执行的任务，拒绝策略和handler参数有关

Executors创建返回ThreadPoolExecutor对象

Executors 创建返回ThreadPoolExecutor对象的方法共有三种：

  • Executors#newCachedThreadPool => 创建可缓存的线程池
  • Executors#newSingleThreadExecutor => 创建单线程的线程池
  • Executors#newFixedThreadPool => 创建固定长度的线程池

Executors#newCachedThreadPool方法

  1. public static ExecutorService newCachedThreadPool() {
  2. return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
  3. 60L, TimeUnit.SECONDS,
  4. new SynchronousQueue<Runnable>());
  5. }

CachedThreadPool 是一个根据需要创建新线程的线程池

  • corePoolSize => 0，核心线程池的数量为0
  • maximumPoolSize => Integer.MAX_VALUE，线程池最大数量为Integer.MAX_VALUE，可以认为可以无限创建线程
  • keepAliveTime => 60L
  • unit => 秒
  • workQueue => SynchronousQueue

当一个任务提交时， corePoolSize 为0不创建核心线程， SynchronousQueue 是一个不存储元素的队列，可以理解为队里永远是满的，因此最终会创建非核心线程来执行任务。对于非核心线程空闲60s时将被回收。 因为 Integer.MAX_VALUE 非常大，可以认为是可以无限创建线程的，在资源有限的情况下容易引起OOM异常

Executors#newSingleThreadExecutor方法

  1. public static ExecutorService newSingleThreadExecutor() {
  2. return new FinalizableDelegatedExecutorService
  3. (new ThreadPoolExecutor(1, 1,
  4. 0L, TimeUnit.MILLISECONDS,
  5. new LinkedBlockingQueue<Runnable>()));
  6. }

SingleThreadExecutor 是单线程线程池，只有一个核心线程

  • corePoolSize => 1，核心线程池的数量为1
  • maximumPoolSize => 1，线程池最大数量为1，即最多只可以创建一个线程，唯一的线程就是核心线程
  • keepAliveTime => 0L
  • unit => 毫秒
  • workQueue => LinkedBlockingQueue

当一个任务提交时，首先会创建一个核心线程来执行任务，如果超过核心线程的数量，将会放入队列中， 因为 LinkedBlockingQueue 是长度为 Integer.MAX_VALUE 的队列，可以认为是*队列，因此往队列中可以插入无限多的任务，在资源有限的时候容易引起 OOM 异常 ，同时因为*队列， maximumPoolSize 和 keepAliveTime 参数将无效，压根就不会创建非核心线程

Executors#newFixedThreadPool方法

  1. public static ExecutorService newFixedThreadPool(int nThreads) {
  2. return new ThreadPoolExecutor(nThreads, nThreads,
  3. 0L, TimeUnit.MILLISECONDS,
  4. new LinkedBlockingQueue<Runnable>());
  5. }

FixedThreadPool 是固定核心线程的线程池，固定核心线程数由用户传入

corePoolSize => 1，核心线程池的数量为1 maximumPoolSize => 1，只可以创建一个非核心线程 keepAliveTime => 0L unit => 秒 workQueue => LinkedBlockingQueue 它和 SingleThreadExecutor 类似，唯一的区别就是核心线程数不同，并且由于 使用的是 LinkedBlockingQueue ，在资源有限的时候容易引起 OOM 异常

总结：

  • corePoolSize => nThreads，核心线程池的数量为1
  • maximumPoolSize => nThreads，线程池最大数量为nThreads，即最多只可以创建nThreads个线程
  • keepAliveTime => 0L
  • unit => 毫秒
  • workQueue => LinkedBlockingQueue
  • 它和SingleThreadExecutor类似，唯一的区别就是核心线程数不同，并且由于使用的是LinkedBlockingQueue，在资源有限的时候容易引起OOM异常

这就是为什么禁止使用 Executors 去创建线程池，而是推荐自己去创建 ThreadPoolExecutor 的原因

OOM异常测试

理论上会出现 OOM 异常，必须测试一波验证之前的说法： 测试类：TaskTest.java

  1. public class TaskTest {
  2. public static void main(String[] args) {
  3. ExecutorService es = Executors.newCachedThreadPool();
  4. int i = 0;
  5. while (true) {
  6. es.submit(new Task(i++));
  7. }
  8. }
  9. }

使用 Executors 创建的 CachedThreadPool ，往线程池中无限添加线程 在启动测试类之前先将 JVM 内存调整小一点，不然很容易将电脑跑出问题【别问我为什么知道，是铁憨憨甜没错了！！！】，在 idea 里： Run -> Edit Configurations

 

浅谈为什么阿里巴巴要禁用Executors创建线程池JVM

参数说明：

  • -Xms10M => Java Heap内存初始化值
  • -Xmx10M => Java Heap内存最大值

运行结果：

Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "main"
Disconnected from the target VM, address: '127.0.0.1:60416', transport: 'socket'

创建到3w多个线程的时候开始报 OOM 错误

另外两个线程池就不做测试了，测试方法一致，只是创建的线程池不一样

如何定义线程池参数

  • CPU密集型 => 线程池的大小推荐为 CPU 数量 + 1， CPU 数量可以根据 Runtime.availableProcessors 方法获取
  • IO密集型 => CPU 数量 * CPU 利用率 * (1 + 线程等待时间/线程CPU时间)
  • 混合型 => 将任务分为 CPU 密集型和 IO 密集型，然后分别使用不同的线程池去处理，从而使每个线程池可以根据各自的工作负载来调整
  • 阻塞队列 => 推荐使用有界队列，有界队列有助于避免资源耗尽的情况发生
  • 拒绝策略 => 默认采用的是 AbortPolicy 拒绝策略，直接在程序中抛出 RejectedExecutionException 异常【因为是运行时异常，不强制 catch 】，这种处理方式不够优雅。处理拒绝策略有以下几种比较推荐：
    • 在程序中捕获 RejectedExecutionException 异常，在捕获异常中对任务进行处理。针对默认拒绝策略
    • 使用 CallerRunsPolicy 拒绝策略，该策略会将任务交给调用execute的线程执行【一般为主线程】，此时主线程将在一段时间内不能提交任何任务，从而使工作线程处理正在执行的任务。此时提交的线程将被保存在 TCP 队列中，TCP队列满将会影响客户端，这是一种平缓的性能降低
    • 自定义拒绝策略，只需要实现 RejectedExecutionHandler 接口即可
    • 如果任务不是特别重要，使用 DiscardPolicy 和 DiscardOldestPolicy 拒绝策略将任务丢弃也是可以的

如果使用Executors的静态方法创建 ThreadPoolExecutor 对象，可以通过使用 Semaphore 对任务的执行进行限流也可以避免出现 OOM 异常

由于线程池参数定义经验较少，都是理论知识，欢迎有经验的大佬补充

到此这篇关于浅谈为什么阿里巴巴要禁用Executors创建线程池的文章就介绍到这了,更多相关阿里巴巴禁用Executors创建线程池内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

标签：

相关文章