2007-08-28

POI导出Excel文件与JVM内存的关系

最近的一个项目需要导出大数据量的Excel文件，我使用了POI做为底层的Excel导出API。
在实际使用中得到一点小小体会，与大家分享一下。
测试数据：
数据记录长度：24字段/记录
字段大小：2个中文字/字段
JVM内存实际支持导出的记录数：11000条记录/64M
JVM内存配置到1024M时，可以导出此类数据10W条以上，大家可以参考此数据来配置自己的Excel数据量和JVM内存，以达到效果最优。

附：JVM内存配置说明

查看当前JVM的内存使用情况
System.out.println(Runtime.getRuntime().totalMemory()/(1024*1024) + "M");
System.out.println(Runtime.getRuntime().maxMemory()/(1024*1024) + "M");
System.out.println(Runtime.getRuntime().freeMemory()/(1024*1024) + "M");

如何获得JVM的最大可用内存

在命令行下用 java -XmxXXXXM -version 命令来进行测试，然后逐渐的增大XXXX的值，如果执行正常就表示指定的内存大小可用，否则会打印错误信息。

实际发现版本上有细微差别的JDK最大容许内存值都不尽相同，因此在实际的应用中还是要自己试验一下看到底内存能达到什么样的值。

通过这个表想说明的是，如果你的机器的内存太多的话，只能通过多运行几个实例来提供机器的利用率了，例如跑Tomcat，你可以多装几个Tomcat并做集群，依此类推。

以下引用地址：http://blog.csdn.net/tyrone1979/archive/2006/09/25/1274458.aspx

JVM内存的调优

 

1. Heap设定与垃圾回收
Java Heap分为3个区，Young，Old和Permanent。Young保存刚实例化的对象。当该区被填满时，GC会将对象移到Old区。Permanent区则负责保存反射对象，本文不讨论该区。
JVM的Heap分配可以使用-X参数设定，

-Xms
初始Heap大小
-Xmx
java heap最大值
-Xmn
young generation的heap大小

JVM有2个GC线程。第一个线程负责回收Heap的Young区。第二个线程在Heap不足时，遍历Heap，将Young 区升级为Older区。Older区的大小等于-Xmx减去-Xmn，不能将-Xms的值设的过大，因为第二个线程被迫运行会降低JVM的性能。
为什么一些程序频繁发生GC？有如下原因：
l         程序内调用了System.gc()或Runtime.gc()。
l         一些中间件软件调用自己的GC方法，此时需要设置参数禁止这些GC。
l         Java的Heap太小，一般默认的Heap值都很小。
l         频繁实例化对象，Release对象。此时尽量保存并重用对象，例如使用StringBuffer()和String()。
如果你发现每次GC后，Heap的剩余空间会是总空间的50%，这表示你的Heap处于健康状态。许多Server端的Java程序每次GC后最好能有65%的剩余空间。
经验之谈：
1．Server端JVM最好将-Xms和-Xmx设为相同值。为了优化GC，最好让-Xmn值约等于-Xmx的1/3[2]。
2．一个GUI程序最好是每10到20秒间运行一次GC，每次在半秒之内完成[2]。
 
注意：
1．增加Heap的大小虽然会降低GC的频率，但也增加了每次GC的时间。并且GC运行时，所有的用户线程将暂停，也就是GC期间，Java应用程序不做任何工作。
2．Heap大小并不决定进程的内存使用量。进程的内存使用量要大于-Xmx定义的值，因为Java为其他任务分配内存，例如每个线程的Stack等。
 
2．Stack的设定
每个线程都有他自己的Stack。

-Xss
每个线程的Stack大小

Stack的大小限制着线程的数量。如果Stack过大就好导致内存溢漏。-Xss参数决定Stack大小，例如-Xss1024K。如果Stack太小，也会导致Stack溢漏。
3．硬件环境
硬件环境也影响GC的效率，例如机器的种类，内存，swap空间，和CPU的数量。
如果你的程序需要频繁创建很多transient对象，会导致JVM频繁GC。这种情况你可以增加机器的内存，来减少Swap空间的使用[2]。
4．4种GC
第一种为单线程GC，也是默认的GC。，该GC适用于单CPU机器。
第二种为Throughput GC，是多线程的GC，适用于多CPU，使用大量线程的程序。第二种GC与第一种GC相似，不同在于GC在收集Young区是多线程的，但在Old区和第一种一样，仍然采用单线程。-XX:+UseParallelGC参数启动该GC。
第三种为Concurrent Low Pause GC，类似于第一种，适用于多CPU，并要求缩短因GC造成程序停滞的时间。这种GC可以在Old区的回收同时，运行应用程序。-XX:+UseConcMarkSweepGC参数启动该GC。
第四种为Incremental Low Pause GC，适用于要求缩短因GC造成程序停滞的时间。这种GC可以在Young区回收的同时，回收一部分Old区对象。-Xincgc参数启动该GC。
4种GC的具体描述参见[3]。
 
参考文章：
2. Performance tuning Java: Tuning steps
3. Tuning Garbage Collection with the 1.4.2 JavaTM Virtual Machine .
评论
发表评论

您还没有登录，请登录后发表评论

jlj008
搜索本博客
最近加入圈子
存档
最新评论
  • 实体与值对象
    谢谢你的回复，对于你的这个例子里的学生来说，我们来做这样的假设：有两个stude ...
    -- by jlj008
  • 实体与值对象
    觉得你举的例子非常好。 现在我有几个问题： 1.值对象是不可变的。 在DDD书中 ...
    -- by didiluck