[VC]大文件分割工具,支持最大3G大小

时间：2022-10-29 17:22:34

Pnig0s p.s:大文件分割,使用内存映射文件,比传统分割方式快很多,目前支持最大3G文件的分割,下个版本改进支持64位最大16EB的文件。其实主要就是实践了下内存映射文件的方法。小Demo,写的糙了点儿,偶也是自己来分割Sql文件用的,莫笑。

使用方法在-h里写的很清楚了,大小是按KB来计算的,使用时稍微注意下。

[VC]大文件分割工具,支持最大3G大小 [VC]大文件分割工具,支持最大3G大小

  
 
 
    

  1. #include <stdio.h>  
    2. 
   
  
  
  2. 
#include <iostream>  

    3. 
   
  
  
  3. 
#include <Windows.h>  

    4. 
   
  
  
  4. 
#include <time.h>  

    5. 
   
  
  
  5. 
#include "head.h"  

    6. 
   
  
  
  6. 
using namespace std;  

    7. 
   
  
  
  7. 
int main(int argc,char * argv[]){  

    8. 
   
  
  
  8. 
    HANDLE hInFile = INVALID_HANDLE_VALUE; //remain  

    9. 
   
  
  
  9. 
    HANDLE hInMap;  

    10. 
   
  
  
  10.     FILEINFO fi;  
    11. 
   
  
  
  11. 
    BOOL bHelp = FALSE;  

    12. 
   
  
  
  12. 
    DWORD dwPartSize;  

    13. 
   
  
  
  13. 
    for(int i = 0;i<argc;i++){  

    14. 
   
  
  
  14. 
        if(argc == 1){  

    15. 
   
  
  
  15.             bHelp = TRUE;  
    16. 
   
  
  
  16.         }  
    17. 
   
  
  
  17. 
        LPSTR lpChkCmd= argv[i];  

    18. 
   
  
  
  18. 
        LPSTR lpValue = argv[i+1];  

    19. 
   
  
  
  19. 
        if(lstrcmp(lpChkCmd,"-f") == 0){  

    20. 
   
  
  
  20.                 fi.lpFileName = lpValue;  
    21. 
   
  
  
  21. 
        }else if(lstrcmp(lpChkCmd,"-s") == 0){  

    22. 
   
  
  
  22.             dwPartSize = atol(lpValue)*1024;  
    23. 
   
  
  
  23. 
        }else if(lstrcmp(lpChkCmd,"-h") == 0){  

    24. 
   
  
  
  24.             bHelp = TRUE;  
    25. 
   
  
  
  25.         }  
    26. 
   
  
  
  26.     }  
    27. 
   
  
  
  27. 
    if(bHelp){   

    28. 
   
  
  
  28. 
        printf("\n --------------------------------");  

    29. 
   
  
  
  29. 
        printf("\n|\tLarge file dividing\t|");  

    30. 
   
  
  
  30. 
        printf("\n|\t\tby:Pnig0s1992\t|");  

    31. 
   
  
  
  31. 
        printf("\n|\t\t2011,11,25\t|");  

    32. 
   
  
  
  32. 
        printf("\n --------------------------------");  

    33. 
   
  
  
  33. 
        printf("\nUsage:\n" 

    34. 
   
  
  
  34. 
            "    %s -f div.txt -s 1024 \n" 

    35. 
   
  
  
  35. 
            "Options:\n" 

    36. 
   
  
  
  36. 
            "    -f         Specify the file u want to divide.\n" 

    37. 
   
  
  
  37. 
            "    -s         Specify the size for each part(KB).\n" 

    38. 
   
  
  
  38. 
            "    -h         Display the usage.\n",argv[0]);  

    39. 
   
  
  
  39.         exit(1);  
    40. 
   
  
  
  40.     }  
    41. 
   
  
  
  41.     hInFile = CreateFile(fi.lpFileName,GENERIC_READ|GENERIC_WRITE,FILE_SHARE_READ|FILE_SHARE_WRITE,NULL,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,NULL);  
    42. 
   
  
  
  42. 
    if(hInFile == INVALID_HANDLE_VALUE){  

    43. 
   
  
  
  43. 
        printf("\n打开文件失败(%d).",GetLastError());  

    44. 
   
  
  
  44. 
        return 0;  

    45. 
   
  
  
  45.     }  
    46. 
   
  
  
  46.     fi.dwFileLowSize = GetFileSize(hInFile,&fi.dwFileHighSize);  
    47. 
   
  
  
  47.     fi.dwFileSize = fi.dwFileLowSize;  
    48. 
   
  
  
  48.     hInMap = CreateFileMapping(hInFile,NULL,PAGE_READWRITE,0,0,NULL);  
    49. 
   
  
  
  49. 
    if(hInMap == NULL){  

    50. 
   
  
  
  50. 
        printf("\n创建源文件映射失败(%d).",GetLastError());  

    51. 
   
  
  
  51.         CloseHandle(hInFile);  
    52. 
   
  
  
  52. 
        return 0;  

    53. 
   
  
  
  53.     }  
    54. 
   
  
  
  54.     fi.dwPartNum = fi.dwFileSize / dwPartSize;  
    55. 
   
  
  
  55. 
    if((fi.dwFileSize % dwPartSize ) != 0 ){  

    56. 
   
  
  
  56.         fi.dwPartNum+=1;  
    57. 
   
  
  
  57.     }  
    58. 
   
  
  
  58. 
    printf("\n文件大小为:%uKB\t分块数为:%u\n",fi.dwFileSize/1024,fi.dwPartNum);  

    59. 
   
  
  
  59. 
    DWORD dwCurAddr = 0;  

    60. 
   
  
  
  60. 
    DWORD dwCurSize = 0;  

    61. 
   
  
  
  61. 
    system("pause");  

    62. 
   
  
  
  62. 
    DWORD dwBegin,dwFinish;  

    63. 
   
  
  
  63.     dwBegin = GetTickCount();  
    64. 
   
  
  
  64. 
    for(int index = 0;index<fi.dwPartNum;index++){  

    65. 
   
  
  
  65.         dwCurSize = fi.dwFileSize - dwCurAddr;  
    66. 
   
  
  
  66. 
        if(dwCurSize > dwPartSize){  

    67. 
   
  
  
  67.             dwCurSize = dwPartSize;  
    68. 
   
  
  
  68.         }  
    69. 
   
  
  
  69. 
        LPVOID lpInMapContext;  

    70. 
   
  
  
  70.         lpInMapContext = MapViewOfFile(hInMap,FILE_MAP_READ|FILE_MAP_WRITE,0,dwCurAddr,dwCurSize);  
    71. 
   
  
  
  71. 
        if(!lpInMapContext){  

    72. 
   
  
  
  72. 
            printf("\n创建源文件视图失败.(%d)",GetLastError());  

    73. 
   
  
  
  73.             CloseHandle(hInFile);  
    74. 
   
  
  
  74. 
            return 0;  

    75. 
   
  
  
  75.         }  
    76. 
   
  
  
  76.         dwCurAddr += dwCurSize;  
    77. 
   
  
  
  77. 
        char cIndex[4];  

    78. 
   
  
  
  78.         itoa(index+1,cIndex,10);  
    79. 
   
  
  
  79. 
        HANDLE hOutFile;  

    80. 
   
  
  
  80.         hOutFile = CreateFile(cIndex,GENERIC_ALL,FILE_SHARE_READ|FILE_SHARE_WRITE,NULL,CREATE_ALWAYS,FILE_ATTRIBUTE_NORMAL,NULL);  
    81. 
   
  
  
  81. 
        if(hOutFile == INVALID_HANDLE_VALUE){  

    82. 
   
  
  
  82. 
            printf("\n创建目标文件失败(%d).",GetLastError());  

    83. 
   
  
  
  83. 
            return 0;  

    84. 
   
  
  
  84.         }  
    85. 
   
  
  
  85. 
        HANDLE hOutMap;  

    86. 
   
  
  
  86.         hOutMap = CreateFileMapping(hOutFile,NULL,PAGE_READWRITE,0,dwCurSize,NULL);  
    87. 
   
  
  
  87. 
        if(hOutMap == NULL){  

    88. 
   
  
  
  88. 
            printf("\n创建目标文件映射失败(%d).",GetLastError());  

    89. 
   
  
  
  89. 
            return 0;  

    90. 
   
  
  
  90.         }  
    91. 
   
  
  
  91. 
        LPVOID lpOutMapContext;  

    92. 
   
  
  
  92.         lpOutMapContext = MapViewOfFile(hOutMap,FILE_MAP_WRITE,0,0,0);  
    93. 
   
  
  
  93. 
        if(hOutMap == NULL){  

    94. 
   
  
  
  94. 
            printf("\n创建目标文件视图失败.(%d)",GetLastError());  

    95. 
   
  
  
  95. 
            return 0;  

    96. 
   
  
  
  96.         }  
    97. 
   
  
  
  97.         CopyMemory(lpOutMapContext,lpInMapContext,dwCurSize);  
    98. 
   
  
  
  98. 
        printf("\n[MSG]分块%d完成.",index+1);  

    99. 
   
  
  
  99.         UnmapViewOfFile(lpInMapContext);  
    100. 
   
  
  
  100.         UnmapViewOfFile(lpOutMapContext);  
    101. 
   
  
  
  101.         CloseHandle(hOutMap);  
    102. 
   
  
  
  102.         CloseHandle(hOutFile);  
    103. 
   
  
  
  103.     }  
    104. 
   
  
  
  104.     CloseHandle(hInMap);  
    105. 
   
  
  
  105.     CloseHandle(hInFile);  
    106. 
   
  
  
  106.     dwFinish = GetTickCount();  
    107. 
   
  
  
  107. 
    DWORD dwRunTime =dwFinish - dwBegin;  

    108. 
   
  
  
  108. 
    printf("\n用时:%u毫秒",dwRunTime);  

    109. 
   
  
  
  109. 
    return 1;  

    110. 
   
  
  
  110. } 
    111.

 

本文出自 “About:Blank H4cking” 博客，请务必保留此出处http://pnig0s1992.blog.51cto.com/393390/724509

标签：

相关文章