Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说
JVM 优化实战_java版动作优化mod,希望能够帮助你!!!。
本文讲解了 JVM 的内存划分和分配策略,并以截图和脚本展示常用可视化和命令行工具的使用方法,完整演示了 JVM 优化、内存泄露排查、gc.log 分析方法等。
作者:王克锋
出处:https://kefeng.wang/2016/11/22/java-jvm/
版权:自由转载-非商用-非衍生-保持署名,转载请标明作者和出处。
存放 new MyClass()
的对象,是GC的主要区域,
-Xms / -Xmx 分别是堆的初始容量、最大可扩展容量,建议初始值设置为最大值,以免反复扩展或缩减的开销;
- 新生代(Young Generation):又划分为 Eden(伊甸园,新生区), Survivor#0(幸存区S0), Survivor#1(幸存区S1)
- 老年代(Tenured Generation)
-XX:NewRatio 是“老年代 / 新生代”的比例,默认值为 2;
-XX:SurvivorRatio 是指 Eden/Survivor#0 的比例,而Survivor#0 与 Survivor#1 容量相同;
存放类信息、常量、大对象(比如 new byte[n]
对象);
-XX:PermSize / -XX:MaxPermSize 为永久代的初始、最大容量,建议初始容量指定为最大容量;
JDK8 中,永久代被完全的移除了,包括相关参数 -XX:PermSize / -XX:MaxPermSize。改用 Metaspace,通过参数-XX:MetaspaceSize / -XX:MaxMetaspaceSize / -XX:CompressedClassSpaceSize 设定;
选项 -Xms300M -Xmx300M -XX:NewRatio=2 -XX:SurvivorRatio=8 -XX:PermSize=100M -XX:MaxPermSize=100M 含义为:
- 永久代固定尺寸为 100M;
- 整个堆固定尺寸为 300M,其中“老年代 / 新生代”为-XX:NewRatio=2,所以老年代为 200M,新生代为 100M;
- 新生代总共 100M,其中“Eden / Survivor0”为-XX:SurvivorRatio=8,所以 Eden 为 80M,Survivor0=Survivor1=10M。
官方资料:http://www.oracle.com/technetwork/articles/java/vmoptions-jsp-140102.html
首先尝试在 Eden 分配,若 Eden 空间不足,就发起 YoungGC(简称YGC);
- 如果幸存对象(被根对象直接或间接引用)在 SurvivorTo 能放下,则存活对象全部移入 SurvivorTo;
- 如果幸存对象在 SurvivorTo 存放不下,则存活对象全部移入老年代;
如果此时老年代空间不足,则发起一次 FullGC(简称FYC,整个系统停顿,老年代也参与回收);
如果 FullGC 时空间仍然周转不过来,则报 OutOfMemoryError 并导致进程结束;
- 如果YGC/FGC能周转过来,则新对象分配在 Eden 中;
所谓的大对象是指,需要大量连续内存的 Java 对象,尤其是长字符串或数组,比如 byte[n] 对象;
可以指定多大才算大对象(只对 Serial/ParNew 有效);
经历 n 次 YGC 仍然存活的对象,下次 YGC 时将被移入老年代;
可以设置该数值:-XX:MaxTenuringThreshold=15(默认)
老年代、永久代的垃圾收集是捆绑在一起的,因此无论两者谁满了,都会触发两者的FullGC。
如果 Survivor 相同年龄对象占用空间达到一半,则大于等于该年龄的对象都移入老年代;
JDK 6u24 之后,总是开启冒险模式(先尝试 YGC,以免 FGC 频繁);
每次 YGC 之前,如果老年代最大连续空间,大于新生代所有对象空间之和,则 YGC 肯定成功,否则:
- 如果老年代最大连续空间,大于历次晋升老年代的平均值,则先冒险尝试 YGC;
- 如果老年代最大连续空间,小于历次晋升老年代的平均值,则直接 FullGC;
一天最多 FullGC 一次,最好在系统空闲期(如深夜);
缩短对象生命期,尤其是大对象
优化JVM参数以减少YGC/FGC次数,可替换收集器
这两项功能必须开启,下面的可视化工具 VisualVM 要用到。
### 下文多处用到此变量,统一维护在系统环境变量里 set JMX_HOSTNAME=192.168.214.128 ## Windows export JMX_HOSTNAME=192.168.214.128 ## Linux
需要注意的是,如果服务端 JMX 开启了修改和控制权限,此时如果不验证监控客户端的身份,那么所有用户都可以修改和控制 Tomcat 服务,所以重要的服务器应该开启用户名和密码验证。
### Windows copy/b "%JAVA_HOME%\jre\lib\management\jmxremote.password.template" "%CATALINA_BASE%\conf\jmxremote.password" copy/b "%JAVA_HOME%\jre\lib\management\jmxremote.access" "%CATALINA_BASE%\conf\jmxremote.access" ### Linux cp "$JAVA_HOME/jre/lib/management/jmxremote.password.template" "$CATALINA_BASE/conf/jmxremote.password" cp "$JAVA_HOME/jre/lib/management/jmxremote.access" "$CATALINA_BASE/conf/jmxremote.access"
jmxremote.password 用于设置各个【用户名|密码】
### $CATALINA_BASE/conf/jmxremote.password jmxadmin jmxpwd
jmxremote.access 用于设置各个【用户名|权限】
### $CATALINA_BASE/conf/jmxremote.access jmxadmin readwrite \ create javax.management.monitor.*,javax.management.timer.* \ unregister
安全起见,JMX 限制其他用户不可读这两个用户验证文件。
默认情况下,Windows/Linux 下分别会报如下错误:
- 错误: 必须限制口令文件读取访问权限: %CATALINA_BASE%\conf\jmxremote.password
- Error: Password file read access must be restricted: $CATALINA_BASE/conf/jmxremote.password
Windows下可按如下操作修改文件权限:
- 右键单击文件 jmxremote.password,弹出菜单中选“属性”,再点“安全”/“高级”/“更改权限”/“包括可从该对象的父项继承的权限”(弹出窗口中选“删除”以删除所有访问权限);
- 再选“添加”/“高级”/“立即查找”,选中你的用户(如 WKF-PC),点“确定”;
- 权限项目窗口中勾选“完全控制”,点“确定”。
Linux 下则更简单:
cd $CATALINA_BASE/conf chmod 600 jmxremote.password jmxremote.access
如果测试服务器无需开启用户验证,只需修改下面参数 authenticate=false, 并去掉 password.file 和 access.file 两个参数。
### Windows: %CATALINA_HOME%\bin\startup.bat set JAVA_OPTS=%JAVA_OPTS% -Djava.rmi.server.hostname=%JMX_HOSTNAME% ^ -Dcom.sun.management.jmxremote=true ^ -Dcom.sun.management.jmxremote.port=1090 ^ -Dcom.sun.management.jmxremote.ssl=false ^ -Dcom.sun.management.jmxremote.authenticate=true ^ -Dcom.sun.management.jmxremote.password.file=%CATALINA_BASE%\conf\jmxremote.password ^ -Dcom.sun.management.jmxremote.access.file=%CATALINA_BASE%\conf\jmxremote.access ### Linux: $CATALINA_HOME/bin/startup.sh export JAVA_OPTS="$JAVA_OPTS -Djava.rmi.server.hostname=$JMX_HOSTNAME -Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.port=1090 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=true -Dcom.sun.management.jmxremote.password.file=$CATALINA_BASE/conf/jmxremote.password -Dcom.sun.management.jmxremote.access.file=$CATALINA_BASE/conf/jmxremote.access"
### $CATALINA_BASE/conf/jstatd.policy ### 可借鉴 $JAVA_HOME/jre/lib/security/java.policy grant codeBase "file:${java.home}/../lib/tools.jar" { permission java.security.AllPermission; };
### $CATALINA_HOME/bin/jstatd.sh ### chmod +x $CATALINA_HOME/bin/jstatd.sh #!/bin/sh PID=`jps | grep Jstatd | awk '{print $1}'` if [ -n "$PID" ]; then echo "kill -9 $PID ..." kill -9 $PID fi jstatd -J-Djava.rmi.server.hostname=$JMX_HOSTNAME \ -J-Djava.security.policy=$CATALINA_BASE/conf/jstatd.policy \ -J-Xms128M -J-Xmx128M -J-XX:NewRatio=1 -J-XX:SurvivorRatio=8 -J-XX:PermSize=16M -J-XX:MaxPermSize=16M \ < /dev/null &> $CATALINA_BASE/logs/jstatd.log &
### /etc/sysconfig/iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 1090 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 1099 -j ACCEPT ### 重启生效: systemctl restart iptables
早期的 Java 故障和监控工具,现在可以由强大的 VisualVM 代替。
JVM 优化实战
http://docs.oracle.com/javase/8/docs/technotes/guides/visualvm/index.html
可以使用 JDK 自带的 %JAVA_HOME%\bin\jvisualvm.exe;
也可以使用最新版本,下载方法如下:
下载页:https://visualvm.github.io/download.html
主程序:https://github.com/visualvm/visualvm.src/releases/download/1.3.9/visualvm_139.zip
汉化包:https://github.com/visualvm/visualvm.src/releases/download/1.3.9/visualvm_139-ml.zip
IDE插件:https://visualvm.github.io/idesupport.html
主程序与汉化包解压到同一目录,最终主程序为 bin\visualvm.exe;
IDE插件支持 Eclipse/IntelliJ IDEA,可以随着 IDE 启动。
http://www.oracle.com/technetwork/java/visualgc-136680.html
VisualVM 中,点击菜单“工具”/“插件”,如下图安装:
有些插件不能成功安装,可下载 nbm 包再手工安装:
https://visualvm.github.io/plugins.html
http://visualvm.java.net/pluginscenters.html
或者在插件设置里,修改或新增插件源(pluginscenters.html里点击后能找到),再安装。
http://bits.netbeans.org/VisualVM/uc/release138/updates.xml
http://bits.netbeans.org/VisualVM/uc/8u40/updates.xml
几款有用的插件:
- BTrace Workbench(只适用于本地应用): 用于不停止进程的情况下添加代码跟踪,入口在应用的右键菜单里;
- KillApplication(只适用于本地应用): 用于杀掉进程,入口在应用的右键菜单里;
- VisualVM-MBeans(本地和远程通用):类似于 JConsole 展示应用的 MBean,包括值、操作、通知等;
- Tracer(本地和远程通用): 以时间曲线图展示多种指标,包括CPU/GC/Heap/PermGen/Classes/Threads等。
对于本地应用,VisualVM 所有功能直接支持它;
对于远程应用,VisualGC 标签页要求服务端开启 jstatd agent,其他标签页要求开启 JMX,否则会显示错误“不受此 JVM 支持”。
对于远程应用,需要注意的是,服务端 jstatd/JMX 重启后,VisualVM 必须重启或者重建 JMX 连接,否则服务端调整在 VisualVM 中不生效。
(1)添加“远程主机”,指定远程服务器的 IP 和 jstatd 端口:
(2)添加“JMX 连接”,指定远程应用的 JMX 端口、用户名和密码:
(1)双击左侧的“JMX 连接”(注意小图标底部有 JMX 字样),切换至“概述”标签页,可看到概述和 JVM 参数信息:
(2)切换至“监视”标签页,可看到 CPU、Heap、Class加载、线程等时间曲线图:
(3)切换至“线程”标签页,可看到各线程 CPU 耗时统计:
(4)切换至“抽样器”标签页,可看到热点方法耗时、主要对象占用空间统计(可用于定位内存泄露):
(5)切换至“VisualGC”标签页,可看到各种内存变化曲线、各GC时间点(可用于JVM参数调优):
(1)优化前,没有明确指定各内存大小,使用 Java 默认内存大小,相当于指定为:
export JAVA_OPTS="$JAVA_OPTS -Xms52M -Xmx244M -XX:NewRatio=2 -XX:SurvivorRatio=8 -XX:PermSize=30M -XX:MaxPermSize=1G"
可见 YoungGC 很频繁:
观察图形可得出以下优化方案:
- 机器内存为 1G,本应用为系统唯一大应用,分给它 512M,另外 512M 预留给系统和其他应用;
- 永久代只需 30M,可指定初始和最大值为 64M,避免反复伸缩的开销;
- 整个堆(新生代+老年代)目前内存为 240M,可增加至 384M,指定初始和最大值都为 384M,避免反复伸缩的开销;
- YoungGC 过于频繁,原因是 Eden 区过小。“老年代/新生代”目前比例为 -XX:NewRatio=2,看图形可知,老年代中长寿对象并不多,可缩减老年代让给新生代,所以调整 -XX:NewRatio=1;
- “Eden / Survivor0”比值目前为 -XX:SurvivorRatio=8,暂不调整。
(2)优化后,指定 JVM 选项为:
### Linux: $CATALINA_HOME/bin/startup.sh export JAVA_OPTS="$JAVA_OPTS -Xms384M -Xmx384M -XX:NewRatio=1 -XX:SurvivorRatio=8 -XX:PermSize=64M -XX:MaxPermSize=64M"
可见 YoungGC 大幅减少:
(3)优化前后对比:
优化前:YoungGC 102次,总耗时 965ms, FullGC 5次,总耗时 240ms,而且应用稳定后 YoungGC 仍然反复发生;
优化后:YoungGC 3次,总耗时 26ms, FullGC 1次,总耗时 4ms,而且应用稳定后 YoungGC 长期未再发生;
优化效果非常明显。
### jps -vlm | grep Bootstrap 1162 ## 进程ID -Xms300M -Xmx300M -XX:NewRatio=2 -XX:SurvivorRatio=8 ## -v的作用,显示 JVM 参数 org.apache.catalina.startup.Bootstrap ## -l的作用,显示主类的全名(或JAR包路径) start ## -m 的作用,显示传递给主类 main() 函数的参数
### 服务器上执行,生成 heapdump 快照文件 jmap -dump:live,format=b,file=tomcat.hprof 1162 sz tomcat.hprof ## 下载到个人PC ### 创建WEB服务,个人PC上可以用浏览器查看 http://localhost:8080/ ### 功能较弱,以 package 分组展示,“Show heap histogram”可用于分析内存泄露。 ### 也可以用 VisualVM 打开快照文件来查看 jhat -port 8080 tomcat.hprof ### jmap 更多功能 jmap -heap 1162 ## 查看堆内存划分、各区块尺寸、已用容量和比率等 jmap -histo:live 1162 ## 可用于排查内存泄露,查看堆中(仅存活的)各 class 的实例数、总占用空间
jstack 1162 > jstack.log ## 可生成应用的各线程 StackTrace
jcmd ## 类似于 jps,查看 java 进程 jcmd 1162 help ## 查看该进程支持的命令 jcmd 1162 VM.uptime ## 显示启动时间 jcmd 1162 VM.flags ## 显示VM标志 jcmd 1162 VM.version ## 查看虚拟机版本 jcmd 1162 VM.command_line ## 显示命令行及参数 jcmd 1162 VM.system_properties ## 显示系统属性 jcmd 1162 GC.run ## 执行 System.gc() jcmd 1162 GC.run_finalization ## 执行 System.runFinalization() jcmd 1162 GC.class_histogram ## 相当于 jmap -histo:live 1162 jcmd 1162 GC.heap_dump tomcat.hprof ## 生成堆快照文件 jcmd 1162 Thread.print ## 相当于 jstack 1162 jcmd 1162 PerfCounter.print ## 显示进程内各种计数器
假设有个需求(这里只是为了演示,现实中不会这么简单粗暴,现实中还需要限制在凌晨才触发):Heap 使用率高于 60%,就要求强制 FullGC。
PID=`jps | grep Bootstrap | awk '{print $1}'` ## 计算 Heap 使用率 ## 下面命令会输出 Eden/S0/S1/Tenured 各自的总空间和已用空间,很容易算出 Heap 使用率: ## used(Eden+S0+S1+Tenured)/total(Eden+S0+S1+Tenured) # jstat -gc $PID ## 判断使用率大于 60% 才执行 FullGC jcmd $PID GC.run
代码中使用的“java.lang:type=Memory”、“HeapMemoryUsage”可以借助 VisualVM/MBeans插件的 Attribtes/Operations 标签页中找到,如下图:
package wang.kefeng.JmxAdmin; import java.lang.management.MemoryUsage; import java.util.LinkedHashMap; import java.util.Map; import javax.management.MBeanServerConnection; import javax.management.ObjectName; import javax.management.openmbean.CompositeDataSupport; import javax.management.remote.JMXConnector; import javax.management.remote.JMXConnectorFactory; import javax.management.remote.JMXServiceURL; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * @author http://kefeng.wang * @date 2016-11-24 20:20:08 */ public class App {
private static final String JMX_HOSTNAME = "192.168.214.128:1090"; private static final String JMX_USERNAME = "jmxadmin"; private static final String JMX_PASSWORD = "jmxpwd"; private static final Logger logger = LoggerFactory.getLogger(App.class); public static void main(String[] args) throws Exception { // 1.建立连接(mbsc) String jmxURL = "service:jmx:rmi:///jndi/rmi://" + JMX_HOSTNAME + "/jmxrmi"; JMXServiceURL serviceURL = new JMXServiceURL(jmxURL); Map<String, Object> map = new LinkedHashMap<>(); map.put("jmx.remote.credentials", new String[] { JMX_USERNAME, JMX_PASSWORD }); JMXConnector connector = JMXConnectorFactory.connect(serviceURL, map); MBeanServerConnection mbsc = connector.getMBeanServerConnection(); // 2.获取远程应用数据 ObjectName objectName = new ObjectName("java.lang:type=Memory"); Object heapMemoryUsage = mbsc.getAttribute(objectName, "HeapMemoryUsage"); MemoryUsage usage = MemoryUsage.from((CompositeDataSupport) heapMemoryUsage); // 示例:如果 Heap 使用率大于 60%,则请求 FullGC long usedRate = usage.getUsed() * 100 / usage.getMax(); logger.info("usedRate={}, {} / {}", usedRate, usage.getUsed(), usage.getMax()); if (usedRate > 30) { mbsc.invoke(objectName, "gc", null, null); logger.info("gc() OK."); } // 3.更多有用的 MBeans // (1)com.sun.management:type=HotSpotDiagnostic // dumpHeap(), getVMOption(), setVMOption() // (2)java.util.logging:type=Logging // getLoggerLevel(), setLoggerLevel() } }
老年代越来越大,GC越来越频繁、执行时间越来越长,而且GC后内存未释放。
可看到可疑的内存泄露对象,看到占用空间大的对象及其调用关系。
### Linux: $CATALINA_HOME/bin/startup.sh export JAVA_OPTS="$JAVA_OPTS -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+PrintHeapAtGC -XX:+PrintTenuringDistribution -Xloggc:$CATALINA_BASE/logs/gc.log"
[停顿类型
[新生代: GC前本区域已用容量 -> GC后本区域已用容量 (本区域总容量), 本区域GC耗时]
[老年代: GC前本区域已用容量 -> GC后本区域已用容量 (本区域总容量), 本区域GC耗时]
GC前Heap已用容量 -> GC后Heap已用容量 (Heap总容量)
[永久代: GC前本区域已用容量 -> GC后本区域已用容量 (本区域总容量), 本区域GC耗时]
[Times: 用户耗时=xx 系统耗时=yy, 实际耗时=zz secs]
==== server 模式的 GC+FullGC ====
新生代:PSYoungGen=Parallel Scavenge
老年代:ParOldGen=Parallel Old
永久代:PSPermGen
[GC [PSYoungGen: 6980K->600K(9216K)] 6980K->6744K(19456K), 0.0028901 secs] [Times: user=0.00 sys=0.00, real=0.00 secs] [Full GC [PSYoungGen: 600K->0K(9216K)] [ParOldGen: 6144K->6617K(10240K)] 6744K->6617K(19456K) [PSPermGen: 2567K->2566K(21504K)], 0.0095238 secs] [Times: user=0.02 sys=0.00, real=0.02 secs]
==== client 模式的 GC+FullGC ====
新生代:DefNew=Serial(Default New Generation)
老年代:Tenured
永久代:Perm
[GC [DefNew: 6871K->382K(9216K), 0.0037941 secs] [Tenured: 6144K->6525K(10240K), 0.0033262 secs] 6871K->6525K(19456K), [Perm : 186K->186K(12288K)], 0.0081090 secs] [Times: user=0.00 sys=0.00, real=0.00 secs] [Full GC [Tenured: 6525K->6514K(10240K), 0.0026225 secs] 6525K->6514K(19456K), [Perm : 186K->186K(12288K)], 0.0028221 secs] [Times: user=0.00 sys=0.00, real=0.00 secs]
=================================
http://gceasy.io/
https://www.ibm.com/developerworks/community/alphaworks/tech/pmat
ftp://public.dhe.ibm.com/software/websphere/appserv/support/tools/pmat/ga456.jar
https://h20392.www2.hpe.com/portal/swdepot/displayProductInfo.do?productNumber=HPJMETERSW
需要注册帐号并登录,最终下载页中选择“Use Standard Download”,Windows上可下载这两个:
MS Windows XP/Vista/7 HPjmeter 4.4.00.00 Console - Oct 2014 (Z7550-01611_hpjmeter_console_4.4.00.00_windows_setup.exe)
HPjmeter 4.4.00.00 Console jar file zip format - Feb 2015 (Z7550-63266_hpjmeter_4.4.00.00.zip)
http://www.tagtraum.com/gcviewer.html
http://www.tagtraum.com/gcviewer-download.html
http://www.tagtraum.com/download/gcviewer-1.29-bin.zip
GCMV=Garbage Collection and Memory Visualizer
插件中心搜索 “GCMV” 来安装,然后在菜单中打开: Window / Perspective / Open Perspective / GCMV
https://gchisto.dev.java.net/
http://java.net/projects/gchisto
http://pietrowski.info/wp-content/uploads/2009/06/GCHisto.tgz
https://code.google.com/archive/p/gclogviewer/
https://code.google.com/archive/p/verbosegcanalyzer
http://fasterj.com/tools/gcloganalysers.shtml
http://techblog.netflix.com/2013/05/garbage-collection-visualization.html
今天的分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
上一篇
已是最后文章
下一篇
已是最新文章