上传2G以上的大文件寻求最佳方案？

前台用Flex，后台用java，不知道有什么好的解决方案，
希望大虾们踊跃发言！

27 个解决方案

#1

Flex支持socket。
所以可以使用socket传文件。
给个例子吧，
http://tech.ddvip.com/2009-02/1234862846109044.html

考虑网络因素，大文件应该实现断点续传。

#2

lz知道不知道为什么一个文件可以多线程下载，想通自然有答案了

#3

变通一些吧！不知道你能不能使用ftp传输！如果不行的话，最好是通过手工先将大的文件放到服务其上，然后通过java.io流做一个类似上传的功能，因为在同一个服务器上，它读写速度比较快，如果你使用客户端向服务器上传2G这么大的文件，我估计速度慢是肯定的，有可能你的内存都有可能被卡死！

#4

该回复于2010-09-01 17:22:17被版主删除

#5

 我自己没有做过
但是曾经有人告诉过我
大文件上传的话 应该采取断点续传ftp
还有一种方式就是用flash

#6

引用 4 楼 nwp123 的回复:

ftp

对的，对于这种大型文件，还是建一个ftp服务器比较好，你再怎么优化，用http来上传这种大文件，我觉得都不好

#7

引用 5 楼 cfd406635982 的回复:

 我自己没有做过
但是曾经有人告诉过我
大文件上传的话 应该采取断点续传ftp
还有一种方式就是用flash

请教大虾，有没有具体的事例...
或更具体点的思路。3Q！

#8

Flash:swfupload
还有ftp你到网上去搜吧 很多实例。。
具体的我也没有用过 
但是原来上网上搜过 很多的  你自己搜索一下 
是有实例的。。

#9

我这里有个ftp的上传例子，可以实现大文件上传，断点续传，可以暂停！QQ：413410312

#10

看看000000

#11

上传大文件应该用的是FTP，我记得有篇文章就是将几种上传方法进行对比！用ftp好像也不是很难吧，如果你项目跟你服务器在一起，那不就是本地上传

#12

引用 11 楼 wangwei490520 的回复:

上传大文件应该用的是FTP，我记得有篇文章就是将几种上传方法进行对比！用ftp好像也不是很难吧，如果你项目跟你服务器在一起，那不就是本地上传

这位仁兄说的很对，因为我的客户端全是用flex做的，现在要从本地上传2G的安装文件到服务器上。
大家提出的建议都不错，但flex这一块，这方面的资料确实不多，用ftp当然不错，但具体操作，事例。
还希望大虾们提供，跑的起来的事例代码。
小弟我不胜感激！

#13

服务器是用的tomcat，望大家踊跃发言，有事例代码的望提供，大家共同学习，进步！

#14

这么大的文件你也要单个上传？而且还是BS结构的？建议用FTP之类的工具先将其传到应用服务器上再作处理。
附：
这么大的文件传上去干什么？
JAVA处理2G的文件不太合理，如果是文本文件需要处理，建议写SH利用操作系统命令或将其用数据库客户端命令（根据数据库而定）导入表中利用SQL处理，不然你的WEB应用是很不稳定的，且内存不够用（64位机器还好点）;如果是二进制文件。。。。。

#15

引用 14 楼 sin300 的回复:

这么大的文件你也要单个上传？而且还是BS结构的？建议用FTP之类的工具先将其传到应用服务器上再作处理。
附：
这么大的文件传上去干什么？
JAVA处理2G的文件不太合理，如果是文本文件需要处理，建议写SH利用操作系统命令或将其用数据库客户端命令（根据数据库而定）导入表中利用SQL处理，不然你的WEB应用是很不稳定的，且内存不够用（64位机器还好点）;如果是二进制文件。。。。。

没办法，这个是项目的需求。
上传的是虚拟机安装文件，做的是云计算。

#16

你用java上传吧，试下nio

#17

引用 14 楼 sin300 的回复:

这么大的文件你也要单个上传？而且还是BS结构的？建议用FTP之类的工具先将其传到应用服务器上再作处理。
附：
这么大的文件传上去干什么？
JAVA处理2G的文件不太合理，如果是文本文件需要处理，建议写SH利用操作系统命令或将其用数据库客户端命令（根据数据库而定）导入表中利用SQL处理，不然你的WEB应用是很不稳定的，且内存不够用（64位机器还好点）;如果是二进制文件。。。。。

不需要做sql处理，只是一个文件上传！
从本地上传到服务器就可以了。
安装虚拟机，是在服务器端安装。
B/S,页面全是用flex来写的！
所有上传也得用flex来做，当然了，也可以结合java一起做！

#18

在网上找了点代码：flex+sevelet 带进度条的文件上传，测试了下，最大，只能上传1G文件，超过了测序没任何反应，也就是文件上传不上去。
Flex页面代码-----------------FileUpload.mxml----------------
<?xml version="1.0" encoding="utf-8"?>

<AbiCloudPopUp 
    xmlns="net.undf.ideal.view.general.*"
    xmlns:mx="http://www.adobe.com/2006/mxml"
    xmlns:componentsMonitor="net.undf.ideal.view.monitor.components.*"
    titleText="@Resource(bundle='Monitor', key='FILE_UPLOAD')"
    xmlns:utils="net.undf.ideal.utils.*" creationComplete="init();">
   <!--这个是我自定义的组件-->
    
    <mx:Script>
     <![CDATA[
    import flash.net.FileReference; 
  import mx.controls.Alert; 
  import mx.events.CloseEvent; 
  import flash.events.*; 
  import flash.net.navigateToURL;
    import flash.net.URLRequest;
    import flash.net.URLRequestMethod;
    import flash.net.URLVariables;

    
         private var file:FileReference ;
         
 private function init(): void{ 
 Security.allowDomain("*"); 
 file = new FileReference(); 
 file.addEventListener(ProgressEvent.PROGRESS, onProgress); 
 file.addEventListener(Event.SELECT, onSelect); 
 file.addEventListener(Event.COMPLETE, completeHandle); 
 } 
 
 private function completeHandle(event:Event):void{ 
     Alert.show("恭喜你，上传成功"); 
 } 
 
 private function upload(): void { 
 var imageTypes:FileFilter = new FileFilter("Images (*.jpg, *.jpeg, *.png)", "*.jpg;*.jpeg;*.png"); 
 var allTypes:Array = new Array(imageTypes); 
 file.browse(allTypes); 
 file.browse(); 
 } 
 
 private function onSelect(e: Event): void{ 
 Alert.show("上传 " + file.name + " (共 "+Math.round(file.size)+" 字节)?", 
 "确认上传", 
 Alert.YES|Alert.NO, 
 null, 
 proceedWithUpload); 
} 
  
private function onProgress(e: ProgressEvent): void{ 
 lbProgress.text = " 已上传 " + e.bytesLoaded 
 + " 字节，共 " + e.bytesTotal + " 字节"; 
 var proc: uint = e.bytesLoaded / e.bytesTotal * 100; 
 bar.setProgress(proc, 100); 
 bar.label= "当前进度: " + " " + proc + "%"; 
} 
  
private function proceedWithUpload(e: CloseEvent): void{ 
 var url:String="http://localhost:8083/Cloud-Client/FileUploaded";
 if (e.detail == Alert.YES){ 
 var request: URLRequest = new URLRequest(url); 
 var variables:URLVariables = new URLVariables();
 variables.exampleSessionId = new Date().getTime();
              variables.exampleUserLabel = "guest";
              request.data = variables;
 request.method=URLRequestMethod.POST;
 try { 
  file.upload(request); 
 } catch (error:Error) { 
 trace("上传失败"); 
   }
 }
} 
 
 //关闭窗口
private function onClickCloseButton():void
            {
                dispatchEvent(new Event("closeFileUpload"));
            }
     ]]>
    </mx:Script>
    
   <mx:VBox width="300" height="150">
<mx:Label id="lbProgress" text="上传"/>  
<mx:ProgressBar id="bar" labelPlacement="bottom" themeColor="#F20D7A"  
 minimum="0" visible="true" maximum="100" label="当前进度: 0%"  
 direction="right" mode="manual" width="200"/>  
<mx:HBox>
<mx:Button label="浏览" click="file.browse();"/>
<mx:Button label="上传" click="upload();"/>
</mx:HBox> 

    <mx:HBox width="100%" horizontalAlign="center" paddingBottom="5" paddingLeft="0" paddingTop="10" paddingRight="0">
    <mx:Button id="closeButton"
            height="20" paddingRight="10"
            label="@Resource(bundle='Common', key='BUTTON_CLOSE')"
            styleName="AlternativeButton"
            click="onClickCloseButton()" />
     </mx:HBox>
   </mx:VBox>
   
</AbiCloudPopUp>

java--------------FileUploaded.java----
 package upload;  
 import java.io.File;  
 import java.io.IOException;  
 import java.io.PrintWriter;  
 import java.util.Iterator;  
 import java.util.List;  
   
 import javax.servlet.ServletException;  
 import javax.servlet.http.HttpServlet;  
 import javax.servlet.http.HttpServletRequest;  
 import javax.servlet.http.HttpServletResponse;  
   
 import org.apache.commons.fileupload.FileItem;  
 import org.apache.commons.fileupload.FileUploadException;  
 import org.apache.commons.fileupload.disk.DiskFileItemFactory;  
 import org.apache.commons.fileupload.servlet.ServletFileUpload;  

public class FileUploaded extends HttpServlet{
private String uploadPath = "d:\\uploadFile\\";  
private int maxPostSize = 1000 * 1024 * 1024;  

public FileUploaded() {
super(); 
}  

public void destroy() {  
super.destroy();  
    }  

protected void processRequest(HttpServletRequest request, HttpServletResponse response)  
             throws ServletException, IOException {  
     System.out.println("Access !");  
     response.setContentType("text/html;charset=UTF-8");  
     PrintWriter out = response.getWriter();  
   
     //保存文件到服务器中  
         DiskFileItemFactory factory = new DiskFileItemFactory();  
         factory.setSizeThreshold(40960);  
         ServletFileUpload upload = new ServletFileUpload(factory);  
         upload.setSizeMax(maxPostSize);  
         try {  
             List fileItems = upload.parseRequest(request);  
             Iterator iter = fileItems.iterator();  
             while (iter.hasNext()) {  
                 FileItem item = (FileItem) iter.next();  
                 if (!item.isFormField()) {  
                     String name = item.getName();  
                     System.out.println(name);  
                     try {  
                         item.write(new File(uploadPath + name));  
                     } catch (Exception e) {  
                         e.printStackTrace();  
                     }  
                 }  
             }  
         } catch (FileUploadException e) {  
             e.printStackTrace();  
             System.out.println(e.getMessage() + "结束");  
         }  
}  
 
protected void doGet(HttpServletRequest request, HttpServletResponse response)  
              throws ServletException, IOException {  
       this.processRequest(request, response);
}  

protected void doPost(HttpServletRequest request, HttpServletResponse response)  
             throws ServletException, IOException {  
  this.processRequest(request, response);  
}  

    public String getServletInfo() {  
       return "Short description";  
}  
    
}
web.xml--------------------------------------------------
<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" id="WebApp_ID" version="2.5">
  <display-name>server</display-name>
   <servlet>  
        <servlet-name>FileUploaded</servlet-name>  
        <servlet-class>upload.FileUploaded</servlet-class>  
    </servlet>  
  
    <servlet-mapping>  
        <servlet-name>FileUploaded</servlet-name>  
        <url-pattern>/FileUploaded</url-pattern>  
   </servlet-mapping>  
</web-app>

#19

学习学习

#20

建议用ftp，文件太大，

开发一个ftp客户端给用户，用户利用客户端进行文件上传和管理。

#21

该回复于2010-09-03 17:33:52被版主删除

#22

文件这么大！  使用上传的协议只是上传途径，重要的还需要对文件进行流切分，别想一次性传这么大的文件，如果中间断下不是很悲剧？

文件流切分上传还是要考虑中断重传问题。服务端文件合并。

#23

引用 22 楼 moshalanye 的回复:

文件这么大！  使用上传的协议只是上传途径，重要的还需要对文件进行流切分，别想一次性传这么大的文件，如果中间断下不是很悲剧？

文件流切分上传还是要考虑中断重传问题。服务端文件合并。

不错的建议，我也想过这么做，但不知道如何入手，不知道这位仁兄有相关的参考事例没？
小弟我不胜感激！

#24

这样的方式其实很简单啦！

1.文件流切分方法应该比较简单，NIO提供的文件映射可以很容易的提供流的切分。如果对NIO不熟悉，使用ramaccess的File inputStream 也可以做法文件流切分。

2.可以自己把文件流分好的段作为body，组成message,自定义message head头，这样可以达到自定义协议，让服务端知道你的每段流的大小，一共有多少端。

3.如果服务端，接受超时，并没有收到该流，则将head信息改变状态返回，让client端重传。

4.考虑下client端的并发效果，但考虑到网络带宽和带宽稳定性，这个需要楼主自己设计一个可配置修改的并发上传属性。

#25

建议使用FTP方式上传，因为如果使用FLASH上传WEB服务端会缓存2G的文件。一般情况下。如果同时上传的用户多了，那么WEB服务器会挂掉。
FTP方式则不会。

另外现在网上已经有一些公司开发出了比较成熟的FTP文件上传控件，用户体验也不错。你可以看一下QQ邮箱中的大附件中传功能。有断点续传。

#26

我在博客园中看到过一个Xproer.FtpUploader控件。也是使用FTP协议的，支持断点续传。支持的文件大小是100G左右。这个应该可以解决楼主的问题。地址是： http://www.cnblogs.com/xproer/archive/2010/04/17/1714073.html

#27

我们公司也是用的Xproer.FtpUploader。不过我们是用它上传的MP3文件，一般是4MB左右，专门用的一台服务器来负责文件存储。用起来感觉不错。