Html5大文件断点续传

时间:2022-09-17 13:53:04

大文件分块

 
一般常用的web服务器都有对向服务器端提交数据有大小限制。超过一定大小文件服务器端将返回拒绝信息。当然,web服务器都提供了配置文件可能修改限制的大小。针对iis实现大文件的上传网上也有一些通过修改web服务器限制文件大小来实现。不过这样对web服务器的安全带了问题。攻击者很容易发一个大数据包,将你的web服务器直接给拖死。
 
现在针对大文件上传主流的实现方式,通过将大文件分块。比如针对一个100M文件,按2M拆分为50块。然后再将每块文件依次上传到服务器上,上传完成后再在服务器上合并文件。
 
在web实现大文件上传,核心主要实现文件的分块。在Html5 File API 出现以前,要想在web上实现文件分块传输。只有通过flash或Activex实现文件的分块。
 
在Html5 下,我们可以直接通过file的slice 方法来实现文件的分块。如:
 
 
file.slice(0,1000); 
file.slice(1000,2000); 
file.slice(2000,3000);
然后再通过XMLHttpRequest异步上传到服务器。
 
Html5 上传文件类库
 
如果你有兴趣及时间 ,当然可以自己用html5的File API来实现。本人在网上查找到了以下两个支持html5类库。
resumable.js 附git上的地址:https://github.com/23/resumable.js
Pludload http://plupload.com/
 
resumable是一个纯html5上传类库。
而Pludload是一个支持html5,flash,silverlight,html4,它会自动判断浏览是否支持html5不支持将用其它的上传方式。
我测试下来,resumable和Pludload都支持html5分块上传文件。用下来觉得resumable比较适合,以下就选resumable来进行介绍。
 
resumable.js断点上传使用介绍
 
主要配置介绍:
 
var r = new Resumable({
    target:'/test/upload',
    chunkSize:1*1024*1024,
    simultaneousUploads:4,
    testChunks: true,
    throttleProgressCallbacks:1,
    method: "octet"
  });
chunkSize 分块文件大小,以字节为单位
simultaneousUploads 同时上传文件块的进程数,可以同时允许多个文件块上传。
testChunks 上前文件块是否先通过get方式发送文件信息检测文件是否已经上传。
 
resumable断点上传是通过testChunks配置节点来实现,当设置为true时。resumable会先发送一个get请求,如果http状态返回 200。则认为当前块已经上传完成,然后进行下一块的get请求。如果http状态返回的不是200,则将通过post方式发送当前块数据包进行文件块上传。
 
设置testChunks为true每次上传都会增加一个get请求,如果我们已经知道上次中断上传前文件的块数。下次直接从中断的块数上传就行了。这样可以为每个块减少一次http的get请求。
针对这个需求,我修改了resumable的源码,为resumable里的file对象增加了一个startchunkindex的属性,默认为0。用于设置当前文件从哪一个块开始上传。这样,我们只需要在在文件上传前从服务器上进行一次查询(查询当前文件上传到哪一块),返回上次上传的文件块索引。再将索引值设置到file的startchunkindex属性就可以实现从上次断开的文件块开始上传。
调用方式:
 
// Handle file add event
r.on('fileAdded', function (file) {
    file.startchunkindex = 0; // 设置当前文件开始上传的块数
 
具体可以查看附件里的demo。 
 
收尾工作
 
所有文件块上传完,最后工作就是合并保存文件。附件为resumable断上传.net实现的服务端例子,包括简单的文件合并功能。其它语言的demo大家也可以从resumable的git上下载
demo例子为了简单,只是把文件存放在本机。在真实的生产环境中。一般应该放在单独的文件服务器上(前台web通过ftp或文件夹共享方式上传到文件服务器),然后对上传好的文件进行分发镜像或处理(比如视频压缩)。当然最好是存在分布式文件系统中,目前看下来放到Hadoop分布式文件系统(HDFS)是一个不错的好方案。

Html5大文件断点续传的更多相关文章

  1. HTML5 大文件断点续传完整思路整理

    需求: 支持大文件批量上传(20G)和下载,同时需要保证上传期间用户电脑不出现卡死等体验: 内网百兆网络上传速度为12MB/S 服务器内存占用低 支持文件夹上传,文件夹中的文件数量达到1万个以上,且包 ...

  2. Html5大文件断点续传实现方法

    之前仿造uploadify写了一个HTML5版的文件上传插件,没看过的朋友可以点此先看一下~得到了不少朋友的好评,我自己也用在了项目中,不论是用户头像上传,还是各种媒体文件的上传,以及各种个性的业务需 ...

  3. 解决html5大文件断点续传

    一.概述 所谓断点续传,其实只是指下载,也就是要从文件已经下载的地方开始继续下载.在以前版本的HTTP协议是不支持断点的,HTTP/1.1开始就支持了.一般断点下载时才用到Range和Content- ...

  4. iOS开发之网络编程--使用NSURLConnection实现大文件断点续传下载+使用输出流代替文件句柄

    前言:本篇讲解,在前篇iOS开发之网络编程--使用NSURLConnection实现大文件断点续传下载的基础上,使用输出流代替文件句柄实现大文件断点续传.    在实际开发中,输入输出流用的比较少,但 ...

  5. php实现大文件断点续传下载实例

    php实现大文件断点续传下载实例,看完你就知道超过100M以上的大文件如何断点传输了,这个功能还是比较经典实用的,毕竟大文件上传功能经常用得到. require_once('download.clas ...

  6. B/S大文件断点续传

    一. 功能性需求与非功能性需求 要求操作便利,一次选择多个文件和文件夹进行上传:支持PC端全平台操作系统,Windows,Linux,Mac 支持文件和文件夹的批量下载,断点续传.刷新页面后继续传输. ...

  7. vue+大文件断点续传

    根据部门的业务需求,需要在网络状态不良的情况下上传很大的文件(1G+).其中会遇到的问题:1,文件过大,超出服务端的请求大小限制:2,请求时间过长,请求超时:3,传输中断,必须重新上传导致前功尽弃.解 ...

  8. webUploader大文件断点续传学习心得 多文件

    二.Jsp代码: <!-- 断点续传   start--> <!-- 隐藏域 实时保存上传进度 --> <input id="jindutiao" t ...

  9. js解决大文件断点续传

    最近遇见一个需要上传百兆大文件的需求,调研了七牛和腾讯云的切片分段上传功能,因此在此整理前端大文件上传相关功能的实现. 在某些业务中,大文件上传是一个比较重要的交互场景,如上传入库比较大的Excel表 ...

随机推荐

  1. 在vs2012中用C&num;开发Android应用Xamarin环境搭建

    Xamarin是Mono创始人Miguel de Icaza创建的公司,旨在让开发者可以用C#编写iOS, Android, Mac应用程序,也就是跨平台移动开发. 简介 Xamarin是基于Mono ...

  2. 把表里的数据转换为insert 语句

    当表里面有数据时,怎么把表里的数据转换为insert 语句 (从别人那里看来的用SQLServer 2008 R2测试可用) CREATE PROC spGenInsertSQL @TableName ...

  3. Cordova开发环境的搭建

    Cordova开发环境的搭建 原文地址:http://imziv.com/blog/article/read.htm?id=66 Cordova为目前做混合式开发中比较受欢迎的一个解决方案了,并且拥有 ...

  4. Linux安装python 2&period;7&period;9

    1.下载python wget https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tgz 2.解压.编译安装 tar -zxvf Python- ...

  5. 调试单片机内部扩展RAM

    51单片机内部只有128字节的RAM(8051),而8052有256字节的RAM,低128字节RAM直接或间接寻址都可以,高128字节RAM与SRF特殊功能寄存器共用地址,SFR只能直接寻址,高128 ...

  6. js-事件委托

    事件委托一般用于动态生成的元素中使用,如下: <!DOCTYPE html> <html> <head> <meta charset="utf-8& ...

  7. OutputStream&lpar;&rpar;

    ---恢复内容开始--- OutputStream 类是一个专门进行字节数据输出的一个类.

  8. Extjs中grid前端分页使用PagingMemoryProxy【二】

        在项目中遇到Grid前端分页,本人也是刚接触extjs没多久,为了实现效果,一直找了很久才实现出来,对于代码中的一些也不能详细的说明出来, 不知道能不能帮助到遇到同样问题的朋友,所以将例子代码 ...

  9. DLL&period;LoadLibrary失败(126)

    1.LoadLibrary 返回 NULL,GetLastError 显示的是 错误码126,msdn上是这样的: ERROR_MOD_NOT_FOUND 126 (0x7E) The specifi ...

  10. Elasticsearch、Kibana Windows下环境搭建

    Elasticsearch 簡介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是 ...