LINUX 环境下 NIO MMAP和DirectMem性能的比较

时间:2021-09-01 04:59:55

只读缓冲区

只读缓冲区非常简单 ― 您可以读取它们,但是不能向它们写入。可以通过调用缓冲区的 asReadOnlyBuffer() 方法,将任何常规缓冲区转换为只读缓冲区,这个方法返回一个与原缓冲区完全相同的缓冲区(并与其共享数据),只不过它是只读的。

只读缓冲区对于保护数据很有用。在将缓冲区传递给某个对象的方法时,您无法知道这个方法是否会修改缓冲区中的数据。创建一个只读的缓冲区可以 保证 该缓冲区不会被修改。

不能将只读的缓冲区转换为可写的缓冲区。

直接和间接缓冲区

另一种有用的 ByteBuffer 是直接缓冲区。 直接缓冲区 是为加快 I/O 速度,而以一种特殊的方式分配其内存的缓冲区。

实际上,直接缓冲区的准确定义是与实现相关的。Sun 的文档是这样描述直接缓冲区的:

给定一个直接字节缓冲区,Java 虚拟机将尽最大努力直接对它执行本机 I/O 操作。也就是说,它会在每一次调用底层操作系统的本机 I/O 操作之前(或之后),尝试避免将缓冲区的内容拷贝到一个中间缓冲区中(或者从一个中间缓冲区中拷贝数据)。

您可以在例子程序 FastCopyFile.java 中看到直接缓冲区的实际应用,这个程序是 CopyFile.java 的另一个版本,它使用了直接缓冲区以提高速度。

还可以用内存映射文件创建直接缓冲区。

内存映射文件 I/O

内存映射文件 I/O 是一种读和写文件数据的方法,它可以比常规的基于流或者基于通道的 I/O 快得多。

内存映射文件 I/O 是通过使文件中的数据神奇般地出现为内存数组的内容来完成的。这其初听起来似乎不过就是将整个文件读到内存中,但是事实上并不是这样。一般来说,只有文件中实际读取或者写入的部分才会送入(或者 映射 )到内存中。

内存映射并不真的神奇或者多么不寻常。现代操作系统一般根据需要将文件的部分映射为内存的部分,从而实现文件系统。Java 内存映射机制不过是在底层操作系统中可以采用这种机制时,提供了对该机制的访问。

尽管创建内存映射文件相当简单,但是向它写入可能是危险的。仅只是改变数组的单个元素这样的简单操作,就可能会直接修改磁盘上的文件。修改数据与将数据保存到磁盘是没有分开的。




 Test Env:  Linux server
 SDK:
  java version "1.6.0_16"
  Java(TM) SE Runtime Environment (build 1.6.0_16-b01)
  Java HotSpot(TM) 64-Bit Server VM (build 14.2-b01, mixed mode)
  
  Performance output
 1)  file size in test:  504M
  testNormalRead(): time is:4606
   testMapNIO() time is:234
  testDirectMem(): time is:521
 

MAP最快,DirectMem也差不多, Normal read 很惨。符合预期。


另外Winfdows环境下测试,跟linux不太一样,估计跟操作系统有关。


 * Note: in test in windows via eclipse (confusion. OS arch is different)
 * testNormalRead(): time is:1674
 * testMapNIO() time is:187
 * testDirectMem(): time is:1560
 */


NIODemoShow.java 源代码如下:



import java.util.*;


import java.nio.channels.*;
import java.io.*;
import java.io.*;
import java.nio.*;


class NormalReader {

public static void testNormalRead(String filename, int buffersize) throws Exception {
    
//515M
File file = new File(filename); 
FileInputStream in = new FileInputStream(file);  
byte[] buffer = new byte[buffersize];
long begin = System.currentTimeMillis(); 
int hasread=0;

while((hasread=in.read(buffer))>0) {
;
}
long end = System.currentTimeMillis();  
System.out.println("testNormalRead(): time is:" + (end - begin));
 }
    }


class NIODirectMemDemo{

public static void testDirectMem(String filename, int buffersize) throws Exception {

//515M
File file = new File(filename); 

FileInputStream in = new FileInputStream(file);  
FileChannel channel = in.getChannel();  
ByteBuffer buff = ByteBuffer.allocateDirect(buffersize);   
 
long begin = System.currentTimeMillis();  
while (channel.read(buff) != -1) {  
   buff.flip();  
   buff.clear();  
}  

long end = System.currentTimeMillis();  
System.out.println("testDirectMem(): time is:" + (end - begin));
  }
}


class NIODemo {
    public static void testMapNIO(String filename, int buffersize) throws Exception{
 
 //file size 515M
File file = new File(filename);  
     FileInputStream in = new FileInputStream(file);  
     FileChannel channel = in.getChannel();  
     
     /*
      * 内存映射文件特别适合于对大文件的操作,JAVA中的限制是最大不得超过 Integer.MAX_VALUE,即2G左右,
      * 不过我们可以通过分次映射文件(channel.map)的不同部分来达到操作整个文件的目的。
      */
     MappedByteBuffer buff = channel.map(FileChannel.MapMode.READ_ONLY, 0,  
    file.length());  


     byte[] b = new byte[buffersize];  
     int len = (int) file.length();  


     long begin = System.currentTimeMillis();  


     for(int offset = 0; offset < len; offset += buffersize) {  
         if (len - offset > buffersize) {  
             buff.get(b);  
         } 
         else {  
             buff.get(new byte[len - offset]);  
         }  
     }  
     
     long end = System.currentTimeMillis();  
     System.out.println(" testMapNIO() time is:" + (end - begin));  
return;
   }
 }


public class NIODemoShow {  
      
    public static void main(String[] args) throws Exception { 
    String filename="D:\\tools\\Nero-7.8.5.0_chs.iso";
    int bufsz=1024;
   
    NormalReader.testNormalRead(filename,bufsz);
    NIODemo.testMapNIO(filename,bufsz);
    NIODirectMemDemo.testDirectMem(filename,bufsz);
    }  
 }