两种类型的Out of Memory
-
java.lang.OutOfMemoryError: Java heap space error
当JVM尝试在堆中分配对象,堆中空间不足时抛出。一般通过设定JAVA启动参数-Xmx最小可用内存解决。 -
java.lang.OutOfMemoryError: Unable to create new native thread
当JVM向OS申请创建线程,而OS不能分配一个本地线程时抛出。
了解系统参数
系统级最大进程ID
$ sysctl -a | grep kernel.pid_max
kernel.pid_max = 32768
# 输出结果表示当前系统允许的最大进程数为32768
$ cat /proc/sys/kernel/pid_max
# 命令功用与上述同样
$ echo 200000 > /proc/sys/kernel/pid_max
# 修改系统级最大进程数为200000,可通过sysctl查看修改
系统级最大线程数
# /proc/sys/kernel/threads-max 限制了系统级最大线程数
$ echo 120000 > /proc/sys/kernel/threads-max
# 修改系统级最大线程数为120000,可通过sysctl查看修改
# Linux没有每个进程单独的最大线程数限制
ulimit 检查OS是否允许用户申请足够多的进程(含线程)
$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 515005
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 4096
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 1024
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
# 通过ulimit -u,可见用户默认的最大进程(含线程)数是1024
# 通过ulimit -s,可见进程默认的最大栈大小是10M
$ ulimit -u 32000
# 更改用户默认的最大进程(含线程)数为32000
Modify 'Soft Limit' of 'Max processes'
Linux对最大线程数的硬控制
number of threads = total virtual memory / (stack size10241024)
从上可知,最大线程数的增加可以通过增加虚拟内存或减少线程栈大小两种手段。
但是,减少线程栈大小可能会导致栈溢出的异常。
$ ulimit -v newValue
# 更改进程默认的虚拟内存大小
$ ulimit -s newValue
# 更改进程默认的栈大小
max_map_count 间接影响线程数量
max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量。默认值是65536。
虚拟内存区域是一个连续的虚拟地址空间区域。在进程的生命周期中,每当程序尝试在内存中映射文件,链接到共享内存段,或者分配堆空间的时候,这些区域将被创建。
调优这个值将限制进程可拥有VMA的数量。限制一个进程拥有VMA的总数可能导致应用程序出错,因为当进程达到了VMA上限但又只能释放少量的内存给其他的内核进程使用时,操作系统会抛出内存不足的错误。
如果你的操作系统在NORMAL区域仅占用少量的内存,那么调低这个值可以帮助释放内存给内核用。
因值过低抛错在JVM中可能会呈现Java.lang.OutOfMemoryError: Map failed。详情参见max_map_count超出导致的OOM
$ echo 'vm.max_map_count=655360' >> /etc/sysctl.conf
# rocketmq系统参数配置了默认值的10倍
$ echo 600000 > /proc/sys/vm/max_map_count
# 更改VMA映射数量为600000,可通过sysctl查看修改
参数之间的关联
线程本质上是进程,显著区别在于线程运行在共享内存空间,而进程运行在独立内存空间
/proc/sys/kernel/pid_max 决定的进程数是运行于独立内存空间的进程
/proc/sys/kernel/threads-max 决定的线程数是运行于共享内存空间的线程
ulimit -u 指的是一个用户在同一时间最多能拥有的总进程(含线程)
ulimit 的进程数(含线程)受限于 pid_max 及 threads-max
参考资料:
Understanding the difference between pid_max, ulimit -u and thread_max
Maximum number of threads per process in Linux?
查看运行现状
$ cat /proc/loadavg
0.41 0.45 0.57 3/749 28174
# 输出结果第四列含有被“/”分割的两个数字。
# 第一个数字表示当前可执行的内核调度实体(进程、线程)数量,通常小于或等于Cpu的数量。
# 第二个数字表示当前存在的内核调度实体,如上例当前并行存在749个线程
$ ps -elf | wc -l
220
# 当前进程数220(实际上减一行应为219),不包含进程创建的线程
$ ps -elfT | wc -l
385
# 当前线程数385(实际上减一行应为384),包含所有进程及线程
$ ps -p PID -lfT | wc -l
# 指定PID查看线程数,该线程数应该与Jstack生成的Thread Dump上的线程数一致
$ jstack -l PID | grep tid | wc -l
# jstack位于Jdk安装目录bin下,用于输出线程快照
减少JVM的线程栈大小
- 一般不这么做,线程栈过小可能抛出java.lang.*Error异常,常见于旧版Maven编译失败。
- 减少每个线程的栈大小有助于生成更多的线程。
- 先检查当前JVM默认的线程栈大小
$ java -XX:+PrintFlagsFinal -version | grep ThreadStackSize
intx ThreadStackSize = 1024
# 输出结果表示JVM默认线程栈大小为1M - 通过为JVM添加"-Xss",减少线程栈大小。
JAVA_OPTS="-Xms128m -Xmx1303m -Xss256k"
# 上述JVM参数表示JVM最小内存大小为128M,最大内存大小为1303M,线程栈大小为256K
解决Unable to create new native thread的更多相关文章
-
java.lang.OutOfMemoryError: unable to create new native thread如何解决
工作中碰到过这个问题好几次了,觉得有必要总结一下,所以有了这篇文章,这篇文章分为三个部分:认识问题.分析问题.解决问题. 一.认识问题: 首先我们通过下面这个 测试程序 来认识这个问题:运行的环境 ( ...
-
解决 - java.lang.OutOfMemoryError: unable to create new native thread
工作中碰到过这个问题好几次了,觉得有必要总结一下,所以有了这篇文章,这篇文章分为三个部分:认识问题.分析问题.解决问题. 一.认识问题: 首先我们通过下面这个 测试程序 来认识这个问题: 运行的环境 ...
-
解决java.lang.OutOfMemoryError: unable to create new native thread问题
解决:1.升级JVM到最新的版本 最新版本的JVM一般在内存优化方面做的更好,升级JVM到最新的版本可能会缓解测问题2.从操作系统层面去解决 使用64位操作系统 如果使用32位操作系统遇到unable ...
-
记一次tomcat线程创建异常调优:unable to create new native thread
测试在进行一次性能测试的时候发现并发300个请求时出现了下面的异常: HTTP Status 500 - Handler processing failed; nested exception is ...
-
java.lang.OutOfMemoryError: unable to create new native thread(转)
解决 - java.lang.OutOfMemoryError: unable to create new native thread 工作中碰到过这个问题好几次了,觉得有必要总结一下,所以有了这篇文 ...
-
spark大批量读取Hbase时出现java.lang.OutOfMemoryError: unable to create new native thread
这个问题我去网上搜索了一下,发现了很多的解决方案都是增加的nproc数量,即用户最大线程数的数量,但我修改了并没有解决问题,最终是通过修改hadoop集群的最大线程数解决问题的. 并且网络上的回答多数 ...
-
java.lang.OutOfMemoryError: unable to create new native thread 居然是MQ问题
问题: 开发环境,之前一直正常,某天突然用tomcat启动项目后时不时报如下错误: java.lang.OutOfMemoryError: unable to create new native th ...
-
JVM虚拟机宕机_java.lang.OutOfMemoryError: unable to create new native thread
原因:当前用户的系统最最大程序数数已达到最大值,使用ulimit -u可以看到是1024 解决办法:在当前用户下使用ulimit -u 65535 然后再执行jsp,一切ok 功能说明:控 ...
-
unable to create new native thread
一.认识问题: 首先我们通过下面这个 测试程序 来认识这个问题:运行的环境 (有必要说明一下,不同环境会有不同的结果):32位 Windows XP,Sun JDK 1.6.0_18, eclipse ...
随机推荐
-
js 实现图片预加载 (js操作 Image对象属性complete ,事件onload 异步加载图片)
通过js操纵DOM很多情况下都是为了实现和当前页html元素的异步载入,我谈谈对Image对象的一些认识.看个例子:<input type="button" name=&qu ...
-
Java transient volatile关键字(转)
Volatile修饰的成员变量在每次被线程访问时,都强迫从主内存中重读该成员变量的值.而且,当成员变量发生变化时,强迫线程将变化值回写到主内存.这样在任何时刻,两个不同的线程总是看到某个成员变量的同一 ...
-
[C# 基础知识系列]专题九: 深入理解泛型可变性
引言: 在C# 2.0中泛型并不支持可变性的(可变性指的就是协变性和逆变性),我们知道在面向对象的继承中就具有可变性,当方法声明返回类型为Stream,我们可以在实现中返回一个FileStream的类 ...
-
什么时候rootViewController至tabbarController时刻,控制屏幕旋转法
于ios6后,ios系统改变了屏幕旋转的方法,假设您想将屏幕旋转法,在需求rootvc里面制备,例如 UIViewController *viewCtrl = [[UIViewController a ...
-
数据结构(C语言版)顺序表相关算法代码实现
这两天实现了一下顺序表的相关操作,包括顺序表初始化.创建.遍历.第i个元素前插入,删除第i个元素.查找元素e的位置.清空顺序表.销毁顺序表.合并两个非递减顺序表操作. 这次在网上学习到了新的布局方法, ...
-
Android Aop日志
Android在许多情况下需要知道一些方法的耗时,然后对与这些耗时进行一些处理和优化.当然我们可以在方法的开头和结尾分别来打一行日志来解决这个问题.但是这个方式侵入性强,而且比较难以修改和删除这些日志 ...
-
angular学习笔记(三)
1.安装npm install --save @angular/material@2.0.0-beta.72.安装http://chrome-extension-downloader.com安装aug ...
-
2018-2019-2 《网络对抗技术》Exp0 Kali安装 Week1 20165321
安装kali 在vm里面新建虚拟机,选择典型 选择安装程序光盘镜像文件,系统出现无法检测此光盘镜像中的操作系统 虚拟机命名选择安装位置 给虚拟机分配的磁盘大小 点击自定义硬件,更改虚拟机硬件 选择Gr ...
-
Tomcat 启动时 SecureRandom 非常慢解决办法,亲测有效
1.找到jre—>lib—>security 2.找到 securerandom.source=file:/dev/random 替换成:securerandom.source= ...
-
Python模块subprocess
subprocess的常用用法 """ Description: Author:Nod Date: Record: #-------------------------- ...