用php如何解决大文件分片上传问题

时间:2021-12-20 00:30:45

如果上传的文件只有小于10M的话, 就没必要考虑这样的做法, 直接在 php.ini中更改一下 upload_max_filesize = 10m post_max_size = 10m 这样就可以了, 下面我们来说一说php上传超大的文件

前提

首先, 上传超大的文件, 前端要和后端相互配合文件上传要使用 ajax 的方法, 而不是 form 的 submit的方式

思想

前端把file文件对象按一定的大小 分割成一定大小的文件(如按 2M 或 5M来分割), 对分割后的文件, 一个个的上传到后端去, 后端接收到分片文件后,把它们先放到一个临时的目录下, 在收到前端完成的数据请求的时候, 把临时目录中的文件组装起来成一个新的文件, 保存后, 把临时目录下的文件删除掉就可以了

代码

html

?
1
2
3
<div class="a">
          上传<input id="myfile" type="file" name="myfile"/>
   </div>

这里要说明一下,没有使用 submit 上传, 使用 ajax上传

javascript

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
<script>
    $(function(){
        let myfile = document.getElementById("myfile");
        myfile.onchange = function(){
            let file = myfile.files[0];     //这里可以得到上传的文件对象
            let length = 1024 * 1024 * 5;   //这里是每一个分片的大小
            let total_number = Math.ceil(file.size/length) //使用进一法, 来确定分片的个数
            let start = 0;          //分片的初始位置
            let end = length;       //分片的结束位置
            let parr = [];         //这里为promise.all方法准备一个数组;
            for(let i = 1;i<=total_number;i++){
                //这里开始分片, 并且把每一个分片上传到服务器
                let bolb = file.slice(start,end);  //得到一个分片
                start = end;                //调整下一个分片的起始位置
                end = start+length;         //调整下一个分片的结束位置
                if(end > file.size){
                    end=file.size;      //这里对最后的一个分片结束位置进行调整
                }
                let formdata = new FormData();  //创建一个FormData对象, 准备传送数据
                formdata.append("file",blob);   //据分片数据放入 formdata
                formdata.append("tempfilename",i+"_"+file.name)  //同时为这个分片设置一个名称, 其中的 i 可以帮助后端进行排序处理
                
                //formdata组装好之后, 调用 pro() 函数, 返回一个promise对象, 并把它放入 parr 数组中, 方便后面的 promise.all方法使用
                parr.push(pro(formadata));
            }
            //以上for 循环结束之后,  parr数组中就全部是  分片上传的 promise的对象了, 此时我们使用promise.all 方法, 等待所有上传都成功执行后, 再向服务器发送一个请求, 也就是上传完成, 让服务器组装分片的请求
            Promise.all(parr).then(res=>{
                if(res.length == parr.length){   //如果返回成功的数组长度 和 parr的数组长度相等,说明分片全部上传成功
                    //此时对上传接口再次发送请求, 同时把 上传的文件名带上, 方便后台查找要组装的分片文件名, 因为是请求同一个上传接口所以, 我们还要传一个 flag=1  表示这是一个数据组装的请求
 $.ajax({
                    type:"post",
                    url:"http://fastadmin.test/index/upload/getupload",
                    data:{flag:1,filename:file.name},  //这里 flag=1表示上传完成,请求组装, filename:表示要组成哪一组文件分片
                    success:function(res){
                        if(res.length == parr.length){
                            console.log(111);
                        }
                    },
                    fail: function () {
                        reject()
                    }
                })
                }
            })
        }
    })
    //这个函数用来上传分片文件, 返回的是一个 promise 对象, 方便后面使用  promise.all还判断所有分片是否是上传成功的
    //这里要说明一下, $.post() 是不可以上传文件的, 只能用$.ajax() 并且要把 contentType:false和processData:false 带上
    function pro(formData){
        return new Promise((resolve,reject)=>{
            $.ajax({
                type:"post",
                url:"http://fastadmin.test/index/upload/getupload",  //后台上传文件的地址
                data:formData,
                contentType: false,    //这个不能少, ajax上传文件是不能少的
                processData: false,    //这个不能少, ajax上传文件必传 false
                success:function(res){
                    resolve(res)
                },
                fail: function () {
                    reject()
                }
            })
        })
    }      
</script>

以上就是 前端的 js 核心部分, 注释基本就可以看懂了

php

使用的tp5的框架

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
public function getUpload(){
    $tempdir = APP_PATH."../public/tempdir"; //这里分片的文件指定了一个临时目录, 后面会用到
    $flag = input("flag",0);//接收参数flag 如果没有这个参数就默认为0, 如果flag=1,表示要组装分片
    if($flag == 0){
        //这里是上传分片
        $file = request()->file("file");  //接收到这个分片
        $tempfilename = input("tempfilename");  //接收到这个分片的名称, (注意,这个名称中含有排序信息)
        if(!file_exists($tempdir)){
            mkdir($tempdir,0755,true);      //如果临时目录不存在,则创建一个临时目录
        }
        $fileinfo = $file->move($tempdir,$tmpfilename);
        if($fileinfo){  // 这里把分片的文件保存在了临时目录中, 返回的结果有点简单, 可以根据自已的需求返回相应的数据
            return josn(['error'=>0])
        }else{
            return json(['error'=>1])
        }
    }else if($flag == 1){
        //如果flag 为 1 表示, 分片已上传完成了
        $filename = input("filename");
        //通过文件名的字符串匹配, 找上所有的分片, 返回一个文件路径的数组
        $fileArr = glob($tempdir."/*".$filename);
        // 这里的 * 是一个通配符, 它可以了所以的文件名中 包含的 $filename 的文都找到
        //说明一下, $fileArr中的数组的顺序不是我们想要的 , 所以我们新建一个数组来 整理一下顺序
        $newfileArr = [];
        foreach($fileArr as $f){
        //在js前端我们把文件的名称 前加了 序号+"_", 所以我们可以取到文件名之后, 通过 下划线来分开并把序中写在 key 中
            $filebasename = basename($f); //$f是一个个的 路径, 这里使用 basename 得到文件名
            $filebasenamesplit = explode("_",$filebasename); //通过 下划线分割文件名,
            $newfileArr[$filebasenamesplit[0]] = $f;    //构造了一个新的数组, 其中 数组的key 就是 顺序号, 数组的值就是 分片文件的路径
        }
        //分片的序号和路径都准备好了, 就可以组装了
        $num = count($newfileArr);  //得到的所有分片的个数, 为后面使用for 循环做准务
        //开始使用for 循环来组装
        $newfilename = "*nhui".$filename; //这里为组装后的文件起一个名字, 可随意
        for($i = 1;$i<=$num;$i++){
            file_put_contents($newfilename,file_get_contents($newfileArr[$i]),FILE_APPEND);
            //这里以追加的方式, 把分片文件都写入到了一个文件中,
        }
        ......
        //删除临时文件中的分片文件, 这里可以使用 try catch来判断是否有错误
        foreach($newfileArr as $fi){
            unlink($fi);
        }
        //最后给前端返回 保存的文件名就可以
    }
}

上面的方法,我本地测试上传了一个 650M的文件,只用的 20秒的时间, 没有在服务器上测试过,大家可以按照这个方法试一下。

原文链接:https://blog.csdn.net/hjh15827475896/article/details/118363544