NIO入门之轻松读取大文件

时间:2022-09-05 14:42:36

    今天同事碰到了一个问题,从游戏服务器下载下来的输出log有一个多G大。用记事本打不开,EditPlus也打不开,都提示文件太大。用word也打不开,提示文件大于512M。打不开怎么查找错误啊。于是他问我解决办法。我想了想,决定写一个简单的程序读取这个log,把这个log切分成一些小的可以用Editplus打开的文本。正好前段时间看了一些NIO的东西,所以决定用NIO来写。没想到,10几行代码就搞定了。下面附上源代码:
     ReadLargeTextWithNIO.java

 1 NIO入门之轻松读取大文件package com.nio.entrace;
 2 NIO入门之轻松读取大文件
 3 NIO入门之轻松读取大文件import java.io.FileInputStream;
 4 NIO入门之轻松读取大文件import java.io.FileOutputStream;
 5 NIO入门之轻松读取大文件import java.io.IOException;
 6 NIO入门之轻松读取大文件import java.nio.ByteBuffer;
 7 NIO入门之轻松读取大文件import java.nio.channels.FileChannel;
 8 NIO入门之轻松读取大文件
 9 NIO入门之轻松读取大文件/**
10NIO入门之轻松读取大文件 * 
11NIO入门之轻松读取大文件 * 用NIO读取大文本(1G以上)
12NIO入门之轻松读取大文件 * 
13NIO入门之轻松读取大文件 * @author landon
14NIO入门之轻松读取大文件 *
15NIO入门之轻松读取大文件 */
16NIO入门之轻松读取大文件public class ReadLargeTextWithNIO 
17NIO入门之轻松读取大文件{
18NIO入门之轻松读取大文件 public static void main(StringNIO入门之轻松读取大文件args) throws IOException
19NIO入门之轻松读取大文件 {
20NIO入门之轻松读取大文件  FileInputStream fin = new FileInputStream("d:\\temp\\outlineA1.log");
21NIO入门之轻松读取大文件  FileChannel fcin = fin.getChannel();
22NIO入门之轻松读取大文件  
23NIO入门之轻松读取大文件  ByteBuffer buffer = ByteBuffer.allocate(1024 * 1024 * 50);
24NIO入门之轻松读取大文件  
25NIO入门之轻松读取大文件  while(true)
26NIO入门之轻松读取大文件  {
27NIO入门之轻松读取大文件   buffer.clear();
28NIO入门之轻松读取大文件   
29NIO入门之轻松读取大文件   int flag = fcin.read(buffer);
30NIO入门之轻松读取大文件   
31NIO入门之轻松读取大文件   if(flag == -1)
32NIO入门之轻松读取大文件   {
33NIO入门之轻松读取大文件    break;
34NIO入门之轻松读取大文件   }
35NIO入门之轻松读取大文件   
36NIO入门之轻松读取大文件   buffer.flip();
37NIO入门之轻松读取大文件   
38NIO入门之轻松读取大文件   FileOutputStream fout = new FileOutputStream("d:\\temp\\" + Math.random() + ".log");
39NIO入门之轻松读取大文件   FileChannel fcout = fout.getChannel();
40NIO入门之轻松读取大文件   
41NIO入门之轻松读取大文件   fcout.write(buffer);
42NIO入门之轻松读取大文件  }
43NIO入门之轻松读取大文件 }
44NIO入门之轻松读取大文件}
45NIO入门之轻松读取大文件
46NIO入门之轻松读取大文件


    下面简单说几个注意的地方:
     a.因为要把超大文本切分成小的部分,所以分配buffer的时候尽量大一些,这里我分配的大小是50M,不过如果太大了,可能会报内存溢出。
     b.说一下clear和flip的方法,直接上源码:

 1 NIO入门之轻松读取大文件public final Buffer clear()
 2 NIO入门之轻松读取大文件     {
 3NIO入门之轻松读取大文件        position = 0;
 4NIO入门之轻松读取大文件        limit = capacity;
 5NIO入门之轻松读取大文件        mark = -1;
 6NIO入门之轻松读取大文件        return this;
 7NIO入门之轻松读取大文件    }
 8NIO入门之轻松读取大文件
 9NIO入门之轻松读取大文件 public final Buffer flip()
10NIO入门之轻松读取大文件    {
11NIO入门之轻松读取大文件        limit = position;
12NIO入门之轻松读取大文件        position = 0;
13NIO入门之轻松读取大文件        mark = -1;
14NIO入门之轻松读取大文件        return this;
15NIO入门之轻松读取大文件    }


    一看便知二者的区别。

    c.跳出循环也即读完的判断是read返回的flag是-1

    利用NIO确实方便,以后继续研究->NIO网络编程