fastjson反序列化使用不当导致内存泄露

时间：2022-04-08 17:03:11

分析一个线上内存告警的问题时，发现了造成内存告警的原因是使用fastjson不当导致的。

分析dump发现com.alibaba.fastjson.util.IdentityHashMap$Entry对象比较多。

查找相关文档

  1. fastjson IdentityHashMap 内存泄漏排查 (这篇文档分析描述的情况与我们遇到的问题的原因一样，是使用com.alibaba.fastjson.util.ParameterizedTypeImpl不当导致的)
  2. fastjon官方在很早的版本就修复过类似的问题，https://github.com/alibaba/fastjson/issues/849 ，相关代码：https://github.com/alibaba/fastjson/commit/ef50a5b756a6cab1ab753f4a661bdfb0ccbd6b7e ，他们修复的这个bug是针对com.alibaba.fastjson.TypeReference，这个类实际也是基于com.alibaba.fastjson.util.ParameterizedTypeImpl的。

问题产生的原因分析

  1. com.alibaba.fastjson.ParserConfig定义一个字段用于缓存不同类的反序列化器，使用的是IdentityHashMap（IdentityHashMap使用的是==比较key的值，不同于HashMap使用equals比较），缓存是以Type为key： 
    private final IdentityHashMap<Type, ObjectDeserializer> deserializers = new IdentityHashMap<Type, ObjectDeserializer>();
  2. 而我们的业务代码是在调用一个接口后将结果反序列化，然后每次都去创建一个ParameterizedTypeImpl实例，而fastjson针对每次创建的PamrameterizedTypeImpl都会作为一个key加入到deserizers中进行缓存。 
    // ... ...
    
ParameterizedTypeImpl type = new ParameterizedTYpeImpl(new Type[]{ SomeInfo.class }, null, CommonVO.class);
    
CommonVO<SomeInfo> result = (CommonVO<SomeInfo>)JSON.parseObject(jsonString, type);

    所以，随着不断的请求发起，内存泄漏产生了。（上面提到的fastjson自身的bug修复就是针对不同的类型又采用了ConcurrentHashMap基于Class进行了一次缓存）

问题修复

方法一：

由于这里主要只是因为泛型才用了ParameterizedTypeImp，并且只有这一处，所以可以简单粗暴把这个定义为局部变量的type改为private static final的全局变量就可以避免内存泄漏了

private static final ParameterizedTypeImpl SOME_INFO_TYPE = ...

方法二：

使用com.alibaba.fastjson.TypeReference。

JSON.parseObject(json, new TypeReference<CommonVO<T>>(SomeInfo.class) {});

https://github.com/alibaba/fastjson/wiki/TypeReference

问题模拟重现

代码：

import com.alibaba.fastjson.JSON;

import com.alibaba.fastjson.util.ParameterizedTypeImpl;

import java.lang.reflect.Type;

import java.util.Objects;

import java.util.concurrent.atomic.AtomicLong;

public class LeakDemo {

    public static void main(String[] args) {

        /*

        -Xms30m

        -Xmx30m

        -XX:+PrintGCDateStamps

        -XX:+PrintGCDetails

        -XX:+PrintHeapAtGC

        -XX:+PrintGCApplicationStoppedTime

        -Xloggc:/tmp/gc_%p_%t_.log

        -XX:+HeapDumpOnOutOfMemoryError

        -XX:HeapDumpPath=/tmp/

         */

        final long start = System.currentTimeMillis();

        final AtomicLong counter = new AtomicLong(0);

        Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {

            @Override

            public void run() {

                System.out.println("count: " + counter.get());

                System.out.println("took " + (System.currentTimeMillis() - start) + " ms");

            }

        }));

        SomeInfo someInfo = new SomeInfo();

        someInfo.setName("Tom");

        CommonVO<SomeInfo> result = new CommonVO<>();

        result.setData(someInfo);

        result.setRetCode(0);

        result.setMessage("Success");

        String json = JSON.toJSONString(result);

        // 模拟业务中不断的接口请求处理

        while (true) {

            ParameterizedTypeImpl type = new ParameterizedTypeImpl(new Type[]{SomeInfo.class}, null, CommonVO.class);

            CommonVO<SomeInfo> tmpResult = (CommonVO<SomeInfo>) JSON.parseObject(json, type);

            Objects.requireNonNull(tmpResult);

            counter.incrementAndGet();

        }

    }

    public static class CommonVO<T> {

        private int retCode;

        private String message;

        private T data;

        public int getRetCode() {

            return retCode;

        }

        public void setRetCode(int retCode) {

            this.retCode = retCode;

        }

        public String getMessage() {

            return message;

        }

        public void setMessage(String message) {

            this.message = message;

        }

        public T getData() {

            return data;

        }

        public void setData(T data) {

            this.data = data;

        }

    }

    public static class SomeInfo {

        private String name;

        public String getName() {

            return name;

        }

        public void setName(String name) {

            this.name = name;

        }

    }

}

执行结果：

java.lang.OutOfMemoryError: GC overhead limit exceeded

Dumping heap to /tmp/java_pid13092.hprof ...

Heap dump file created [48333772 bytes in 0.402 secs]

Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded

	at java.util.zip.ZipCoder.getBytes(ZipCoder.java:80)

	at java.util.zip.ZipFile.getEntry(ZipFile.java:306)

	at java.util.jar.JarFile.getEntry(JarFile.java:227)

	at java.util.jar.JarFile.getJarEntry(JarFile.java:210)

	at sun.misc.URLClassPath$JarLoader.getResource(URLClassPath.java:840)

	at sun.misc.URLClassPath$JarLoader.findResource(URLClassPath.java:818)

	at sun.misc.URLClassPath$1.next(URLClassPath.java:226)

	at sun.misc.URLClassPath$1.hasMoreElements(URLClassPath.java:236)

	at java.net.URLClassLoader$3$1.run(URLClassLoader.java:583)

	at java.net.URLClassLoader$3$1.run(URLClassLoader.java:581)

	at java.security.AccessController.doPrivileged(Native Method)

	at java.net.URLClassLoader$3.next(URLClassLoader.java:580)

	at java.net.URLClassLoader$3.hasMoreElements(URLClassLoader.java:605)

	at sun.misc.CompoundEnumeration.next(CompoundEnumeration.java:45)

	at sun.misc.CompoundEnumeration.hasMoreElements(CompoundEnumeration.java:54)

	at com.alibaba.fastjson.util.ServiceLoader.load(ServiceLoader.java:34)

	at com.alibaba.fastjson.parser.ParserConfig.getDeserializer(ParserConfig.java:468)

	at com.alibaba.fastjson.parser.ParserConfig.getDeserializer(ParserConfig.java:363)

	at com.alibaba.fastjson.parser.DefaultJSONParser.parseObject(DefaultJSONParser.java:639)

	at com.alibaba.fastjson.JSON.parseObject(JSON.java:350)

	at com.alibaba.fastjson.JSON.parseObject(JSON.java:318)

	at com.alibaba.fastjson.JSON.parseObject(JSON.java:281)

	at LeakDemo.main(LeakDemo.java:45)

count: 17300

took 6332 ms

相关文章