多线程使用不当导致的 OOM

（给ImportNew加星标，提高Java技能）

事故描述

从 6 点 32 分开始少量用户访问 App 时会出现首页访问异常，到 7 点 20 分首页服务大规模不可用，7 点 36 分问题解决。

整体经过

6:58 发现报警，同时发现群里反馈首页出现网络繁忙，考虑到前几日晚上门店列表服务上线发布过，所以考虑回滚代码紧急处理问题。

7:07 开始先后联系 XXX 查看解决问题。

7:36 代码回滚完，服务恢复正常。

事故根本原因

事故代码模拟：

 
 
  
   
  
   
  
   
  
   
  
   
  
   
  
   
  
   
  
   
  
   
  
   
  
  
  
  public static void test() throws InterruptedException, ExecutionException {
    Executor executor = Executors.newFixedThreadPool(3);    CompletionService<String> service = new ExecutorCompletionService<>(executor);        service.submit(new Callable<String>() {            @Override            public String call() throws Exception {                return "HelloWorld--" + Thread.currentThread().getName();            }        });}

根源就在于 ExecutorCompletionService 结果没调用take、poll方法。

正确的写法如下所示：

public static void test() throws InterruptedException, ExecutionException {    Executor executor = Executors.newFixedThreadPool(3);    CompletionService<String> service = new ExecutorCompletionService<>(executor);    service.submit(new Callable<String>() {        @Override        public String call() throws Exception {            return "HelloWorld--" + Thread.currentThread().getName();        }    });    service.take().get();}

一行代码引发的血案，而且不容易被发现。因为 OOM 是一个内存缓慢增长的过程，稍微粗心大意就会忽略。如果是这个代码块的调用量少的话，很可能几天甚至几个月后暴雷。

操作人回滚或者重启服务器确实是最快的方式。但是如果不是事后快速分析出 OOM 的代码，而且不巧回滚的版本也是带 OOM 代码的，就比较悲催了。如刚才所说，流量小了、回滚或者重启都可以释放内存；但是流量大的情况下，除非回滚到正常的版本，否则 GG。

探寻问题根源

为了更好的理解 ExecutorCompletionService 的 “套路”，我们用 ExecutorService 来作为对比，可以让我们更好地清楚什么场景下用 ExecutorCompletionService。

先看 ExecutorService 代码（建议下载后自己跑一跑）

public static void test1() throws Exception{    ExecutorService executorService = Executors.newCachedThreadPool();    ArrayList<Future<String>> futureArrayList = new ArrayList<>();    System.out.println("公司让你通知大家聚餐 你开车去接人");    Future<String> future10 = executorService.submit(() -> {        System.out.println("总裁：我在家上大号 我最近拉肚子比较慢 要蹲1个小时才能出来 你等会来接我吧");        TimeUnit.SECONDS.sleep(10);        System.out.println("总裁：1小时了 我上完大号了。你来接吧");        return "总裁上完大号了";    });    futureArrayList.add(future10);    Future<String> future3 = executorService.submit(() -> {        System.out.println("研发：我在家上大号 我比较快 要蹲3分钟就可以出来 你等会来接我吧");        TimeUnit.SECONDS.sleep(3);        System.out.println("研发：3分钟 我上完大号了。你来接吧");        return "研发上完大号了";    });    futureArrayList.add(future3);    Future<String> future6 = executorService.submit(() -> {        System.out.println("中层管理：我在家上大号  要蹲10分钟就可以出来 你等会来接我吧");        TimeUnit.SECONDS.sleep(6);        System.out.println("中层管理：10分钟 我上完大号了。你来接吧");        return "中层管理上完大号了";    });    futureArrayList.add(future6);    TimeUnit.SECONDS.sleep(1);    System.out.println("都通知完了,等着接吧。");    try {        for (Future<String> future : futureArrayList) {            String returnStr = future.get();            System.out.println(returnStr + "，你去接他");        }        Thread.currentThread().join();    } catch (Exception e) {        e.printStackTrace();    }}

三个任务，每个任务执行时间分别是 10s、3s、6s 。通过 JDK 线程池的 submit 提交这三个 Callable 类型的任务。

第一步：主线程把三个任务提交到线程池里面去，把对应返回的 Future 放到 List 里面存起来，然后执行“都通知完了,等着接吧。”这行输出语句；

第二步：在循环里面执行 future.get() 操作，阻塞等待。

最后结果如下：

先通知到总裁，也是先接总裁足足等了 1 个小时，接到总裁后再去接研发和中层管理，尽管他们早就完事儿了，也得等总裁上完厕所~~

耗时最久的-10s 异步任务最先进入 list 执行。所以在循环过程中获取这个 10 s的任务结果的时候，get 操作会一直阻塞，直到 10s 异步任务执行完毕。即使 3s、5s 的任务早就执行完了也得阻塞，等待 10s 任务执行完。

看到这里，尤其是做网关业务的同学可能会产生共鸣。一般来说，网关 RPC 会调用下游 N 多个接口，如下图：

如果都按照 ExecutorService 这种方式，并且恰巧前几个任务调用的接口耗时比较久，同时阻塞等待，那就比较悲催了。所以 ExecutorCompletionService 应景而出。它作为任务线程的合理管控者，“任务规划师”的称号名副其实。

相同场景 ExecutorCompletionService 代码：

public static void test2() throws Exception {    ExecutorService executorService = Executors.newCachedThreadPool();    ExecutorCompletionService<String> completionService = new ExecutorCompletionService<>(executorService);    System.out.println("公司让你通知大家聚餐 你开车去接人");    completionService.submit(() -> {        System.out.println("总裁：我在家上大号 我最近拉肚子比较慢 要蹲1个小时才能出来 你等会来接我吧");        TimeUnit.SECONDS.sleep(10);        System.out.println("总裁：1小时了 我上完大号了。你来接吧");        return "总裁上完大号了";    });    completionService.submit(() -> {        System.out.println("研发：我在家上大号 我比较快 要蹲3分钟就可以出来 你等会来接我吧");        TimeUnit.SECONDS.sleep(3);        System.out.println("研发：3分钟 我上完大号了。你来接吧");        return "研发上完大号了";    });    completionService.submit(() -> {        System.out.println("中层管理：我在家上大号  要蹲10分钟就可以出来 你等会来接我吧");        TimeUnit.SECONDS.sleep(6);        System.out.println("中层管理：10分钟 我上完大号了。你来接吧");        return "中层管理上完大号了";    });    TimeUnit.SECONDS.sleep(1);    System.out.println("都通知完了,等着接吧。");    //提交了3个异步任务）    for (int i = 0; i < 3; i++) {        String returnStr = completionService.take().get();        System.out.println(returnStr + "，你去接他");    }    Thread.currentThread().join();}