Windows服务器文件自动上传至阿里云OSS

Windows服务器数据文件自动上传至阿里云OSS

背景：

客户需求：实现将Windows服务器上的SQLServer数据库文件上传至阿里云OSS内，实现数据长期备份。

需求难点：网络波动对上次数据完整性的影响，如何在前期规划好后期新增的数据文件的归档分组与优化管理，如何确保数据文件上传的完整性检查。

解决方法：1.在windows下编写bat批量执行脚本配合定时任务时间数据传输。

2.选取osscmd工具，支持G级数据的切片上次与解决网络波动时候的断点续传。 3.打包压缩数据文件，减少传流量带宽，上传完成后删除压缩包（脚本内实现）。

4.通过在Linux服务器同样使用osscmd的list方法来抓取oss上的文件信息，以便比对与告警。

一、备份服务器端部署

1.安装python，版本在2.5-2.7，建议2.7（已安装忽略）

2.在c盘新建OSS目录，并在次目录下解压osscmd文件

下载URL：https://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/internal/oss/0.0.4/assets/sdk/OSS_Python_API_20160419.zip?spm=5176.doc32171.2.3.lnaEuy&file=OSS_Python_API_20160419.zip

3.安装rar压缩文件（已安装忽略）

4.修改oss.bat脚本文件

OSS.bat文件内容如下：

@echo off
rem mail:[email protected]

set MON=%date:~0,4%%date:~5,2%                #定义创建的时间目录

set DATE=%date:~0,4%%date:~5,2%%date:~8,2%    #定义时间

set TIME=%date%-%time%

set LOGDIR=C:\                                #目录

set DIR=D:\                                   #数据文件的盘符

echo "%TIME% 脚本开始执行完毕!">>%LOGDIR%\OSS\log\backup-oss.log     #输出日志

set DIRNAME=SAP_BACKUP                                               #数据文件的目录

set NAME=上海xx客户科技                                              #客户名称

set PY=C:\Python27\python.exe                 #python可执行程序路径

set OSSCMD=C:\OSS\osscmd                      #osscmd路径

set RAR="C:\Program Files\WinRAR\WinRAR.exe"  #rar路径

set BUCKET=oss://dacexinxi/                   #oss上bucket名称

set ID=LTAIsSraOIxxxxxxxx                     #access ID

set KEY=40u5sORa9JAVnlWwhekBJxxxxxxxxxx       #access key

set HOST=oss-cn-shenzhen.aliyuncs.com         #oss所在区，内网可以根据具体来写

set FILE=Data1                                #压缩的数据文件目录名称

%RAR% a -k -r -s -m1 %DIR%%DATE%-%FILE%.rar %DIR%\%DIRNAME%\%FILE%     #压缩文件

set TIME=

set TIME=%date%-%time%

echo "%TIME% %FILE% 压缩文件执行完毕!">>%LOGDIR%\OSS\log\backup-oss.log

%PY% %OSSCMD% mkdir %BUCKET%%NAME%/%MON%/%DATE%-%DIRNAME% --id=%ID% --key=%KEY% --host=%HOST%  #创建oss目录

%PY% %OSSCMD% mp %DIR%%DATE%-%FILE%.rar %BUCKET%%NAME%/%MON%/%DATE%-%DIRNAME%/%DATE%-%FILE%.rar --id=%ID% --key=%KEY% --host=%HOST%   #使用multiupload上次文件

set TIME=

set TIME=%date%-%time%

echo "%TIME% %FILE% 上传文件执行完毕!">>%LOGDIR%\OSS\log\backup-oss.log

del %DIR%%DATE%-%FILE%.rar                    #删除压缩数据文件

set TIME=

set TIME=%date%-%time%

echo "%TIME% %FILE% 删除文件执行完毕!">>%LOGDIR%\OSS\log\backup-oss.log

set FILE=

set FILE=Data2
%RAR% a -k -r -s -m1 %DIR%%DATE%-%FILE%.rar %DIR%\%DIRNAME%\%FILE%

set TIME=

set TIME=%date%-%time%

echo "%TIME% %FILE% 压缩文件执行完毕!">>%LOGDIR%\OSS\log\backup-oss.log

%PY% %OSSCMD% mkdir %BUCKET%%NAME%/%MON%/%DATE%-%DIRNAME% --id=%ID% --key=%KEY% --host=%HOST%

%PY% %OSSCMD% mp %DIR%%DATE%-%FILE%.rar %BUCKET%%NAME%/%MON%/%DATE%-%DIRNAME%/%DATE%-%FILE%.rar --id=%ID% --key=%KEY% --host=%HOST%

set TIME=

set TIME=%date%-%time%

echo "%TIME% %FILE% 上传文件执行完毕!">>%LOGDIR%\OSS\log\backup-oss.log
del %DIR%%DATE%-%FILE%.rar

set TIME=

set TIME=%date%-%time%

echo "%TIME% %FILE% 删除文件执行完毕!">>%LOGDIR%\OSS\log\backup-oss.log

echo "-----------%TIME% 脚本执行完毕!---------">>%LOGDIR%\OSS\log\backup-oss.log

5.Window创建定时任务

创建定时任务

“程序”/“附件”/“系统工具”/“任务计划程序”命令

点击“创建任务”后如图所示：填写好相应的名称和勾选好必要的条件

选择“触发器”选项，点击“新建”，创建任务执行时间，“重复任务间隔”这个选择后，后面有时间选择，是每小时，还是每分，可自己选择后再修改时间，再确定。

再来配置需要执行的“操作”，就是选择所写的程序或是BAT文件，这里很重要的配置是选择BAT文件后，在“起始于（可选）”这里一定要填写相应执行程序或是BAT文件的所在目录，要不然是执行不成功的。

二、阿里云OSS开通

创建Access key，用于使用osscmd上传时bucket认证标识

创建bucket

二、监控OSS上传数据

1.下载osscmd工具并放置/oss目录下

oss_check.sh检测脚本如下：

#!/bin/bash

DATE=`date +%Y%m`

OSSCMD=/oss/osscmd
NAME=上海xx公司

PYCMD=/usr/bin/python

BUCKET=oss://dacexinxi/

TIME=`date +%Y%m%d`

DATANAME="${TIME}-SAP_BACKUP"
ID=LTAIsSraOIHyxxx
KEY=40u5sORa9JAVnlWwhekBJzxxxxx
HOST=oss-cn-shenzhen.aliyuncs.com

WEIXIN=/oss/GFweixin.sh

MAILTIME=`date +%F' '%H:%M`

if [ -d /oss/log ];then

mkdir -p /oss/log/${TIME} 
fi

$PYCMD $OSSCMD ls ${BUCKET}${NAME}/${DATE}/${DATANAME} --id=$ID --key=$KEY --host=$HOST>/oss/log/${TIME}/oss-check-${TIME}.log

NUM=`$PYCMD $OSSCMD ls ${BUCKET}${NAME}/${DATE}/${DATANAME} --id=$ID --key=$KEY --host=$HOST |grep rar|wc -l`

echo $NUM

if [ "${NUM}" != "4" ];then

   /bin/bash /oss/GFweixin.sh xuel dace "上海xx公司-oss_check is fail! TIME:${MAILTIME}"
else

   /bin/bash /oss/GFweixin.sh xuel dace "上海xx公司-oss_check is ok! TIME:${MAILTIME}"
fi

ls /oss/log/${TIME}/oss-check-${TIME}.log

if [ "$?" != "0" ];then

/bin/bash /oss/GFweixin.sh xuel dace "上海xx公司-oss_check is fail! TIME:${MAILTIME}"
else

/bin/mail -r [email protected] -s "达上海xx公司-oss_check" [email protected] </oss/log/${TIME}/oss-check-${TIME}.log
fi