linux下不同服务器间数据传输(rcp,scp,rsync,ftp,sftp,lftp,wget,curl)

分类： LINUX

因为工作原因，需要经常在不同的服务器见进行文件传输，特别是大文件的传输，因此对linux下不同服务器间数据传输命令和工具进行了研究和总结。主要是rcp,scp,rsync,ftp,sftp,lftp,wget,curl。

rcp

rcp不是一种安全的的传输文件的方式，rcp通过rsh（rsh见下面）来执行远程命令，要使用rcp必须经过一些配置，现在rcp已经被scp取代了，常用scp来进行文件传输。要使用rcp，需要具备以下条件：

（1）如果系统中有 /etc/hosts文件，应确保该文件包含要与之进行通信的远程主机信息：internet_address official_name alias。例如：1．186．10.*** blade1.ibm.com.cnblade

（2）.rhosts文件：.rhosts 文件位于远程系统的根目录下，其中包含本地系统的名称和本地登录名。例如，远程系统的 .rhosts文件中的项可能是：blade1 root；其中，blade1是本地系统的名称，root 是本地登录名。这样，blade1 上的 root即可在包含 .rhosts 文件的远程系统中来回复制文件。

配置过程：

（1）在双方root用户根目录下建立.rhosts文件,并将双方的hostname加进去.在此之前应在双方的 /etc/hosts文件中加入对方的IP和hostname

（2）把rsh服务启动起来,redhat默认是不启动的。方法：用执行ntsysv命令，在rsh选项前用空格键选中,确定退出。然后执行：service xinetd restart即可。如果没有rsh，请见下面rsh部分

（3）到/etc/pam.d/目录下,把rsh文件中的auth required /lib/security/pam_securetty.so一行用“#”注释掉即可。（只有注释掉这一行，才能用root用户登录）

命令使用：

rcp [options] [[user@]host1:]file1 ... [[user@]host2:]file2

options:　

-r递归地把源目录中的所有内容拷贝到目的目录中。

-p试图保留源文件的修改时间和模式，忽略umask。

rsh（remote shell，它不够安全）：rsh使用条件同rcp，rsh配置过程（以root为例）

（1）在服务器上运行/urs/bin/ntsysv选中rexec,rlogin,rsh三项服务。

（2）运行#/sbin/service xinetd restart启动该三项服务。

（3）运行 echo"rexec">>/etc/securetty; echo"rlogin">>/etc/securetty; echo"rsh">>/etc/securetty

（4）在服务器上运行echo"你的ip地址root">>/root/.rhosts或者echo"你的主机名root">>/root/.rhosts且确保在服务器上的/etc/hosts中有主机名和ip地址的映射关系

（5）到/etc/pam.d/目录下,把rexec, rlongin, rsh文件中的auth required /lib/security/pam_securetty.so 一行用“#”注释掉即可。（只有注释掉这一行，才能用root用户登录）

（6） rsh命令用法：rsh remote-sytem-neame Linux-command，例如：rsh blade1 ls /home/root

scp

scp 命令是 SSH中最方便有用的命令了，scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh使用相同的认证方式，提供相同的安全保证。与rcp 不同的是，scp在需要进行验证时会要求你输入密码或口令。

scp [options] [本地用户名@IP地址:]file1 [远程用户名 @IP 地址 :] file2

options:

-v 用来显示进度，可以用来查看连接，认证，或是配置错误。

-C使能压缩选项。

-c选择使用那个加密算法（具体对应到ssh的-c cipher-spec，这个参数值会被传给ssh，可选择值3des，blowfish，des），使用blowfish会快很多，可以参看man ssh 中的-c cipher-spec

-P选择端口

-r递归拷贝整个目录

-l限制使用带宽，Kbit/s

-o指定传给ssh的一些参数值，比如Compression=yes

-p保留文件的修改时间等信息。

rsync

rsync是rcp的替代品之一，rsync是一款高效的远程数据备份和镜象工具，可快速地同步多台主机间的文件，其具有如下特性：

支持链接、所有者、组信息以及权限信息的拷贝；
通过远程 shell（ssh, rsh）进行传输；
无须特殊权限即可安装使用；
流水线式文件传输模式，文件传输效率高；
支持匿名操作；

需要提及的是 rsync以其优越的性能优势区别于其它几种 Linux文件传输方法，其同步文件的速度相当快，这主要归功于 rsync所使用的传输算法。简而言之 rsync算法能在相当短的时间内计算出需要备份的数据，只对源文件与目标文件的不同之处进行传输，从而降低网络中传输的数据量，以此达到快速备份镜像的目的。下面通过一典型应用场景来描述 rsync算法的基本原理：主机 A 与主机 B 均有对同一文件的拷贝，用户对主机 A上的拷贝进行更新，主机 B 通过 rsync 算法对更新后的文件进行同步。以下是该算法的实现步骤：

（1）主机 B将原始拷贝划分成大小为 N 的不重合的若干块（文件末尾部分分块大小可能不足 N），并对这些数据块进行两种不同方式的校验：32位的滚动弱校验、128 位的 MD4 强校验。弱校验较之强校验计算速度快。

（2）主机 B将每个数据块的弱校验、强校验结果发送给主机 A。

（3）主机 A对更新后的文件拷贝中的每个长度为 N 的数据块进行弱校验并与从 B 接收到的弱校验值进行匹配，若相同再进行强校验匹配。由于弱校验的滚动特性可以快速地筛选出需要进行同步的数据块。该算法的运算量主要集中在主机 A上。

通过上述计算，主机 A 将文件的不同部分发送给 B，B接收到两个拷贝之间的不同之处，从而同步得到更新后的文件。通过如上方式，rsync避免了对相同数据的传输，减少了网络带宽的浪费。在时间上整个过程中需一个往返，从某种程度上也保证了 rsync的优越性能。

Rsync可以通过两种方式来连接远程服务器，一种是通过类shell命令的方式，一种是通过rsync daemon的方式，rsync daemon需要进行安装和配置，具体如下：

可从官方网站 http://rsync.samba.org/上下载安装 rsync 的最新版本。使用时需将 rsync 分别安装于服务端和客户端，服务端和客户端使用同一个 rsync软件包来实现远程镜像和定期同步更新。需要说明的是一个 rsync服务端可同时备份多个客户端的数据；多个服务端备份一个客户端的数据。 rsync默认端口为 873，服务器在该端口接收客户的匿名或者认证方式的备份请求。

rsync 服务端在使用之前需要进行必要的配置，其配置文件为 /etc/rsyncd.conf，进行认证、访问、日志记录等控制。配置文件包括全局参数、模块参数的设置。 rsyncd.conf 文件中 [module]之前的所有参数为全局参数，也可以在全局参数部分定义模块参数，在这种情况下该参数的值就是所有模块的默认值。全局参数设置程序使用的端口号，指定消息文件、日志文件 pid文件以及发送日志消息的级别。模块参数主要定义服务端哪个目录需要被同步。用户可根据不同的需要指定多个模块，每个模块对应需要备份的一个目录树，即若有 N个需要备份的目录树，则需要 N 个模块与之对应。模块中可以定义许多参数，常见参数如下。

Comment：块信息描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。
Path：指定供备份的目录路径，必须指定该参数。
max connections ：指定最大并发连接数以保护服务器，超过限制的连接请求将被告知随后再试。默认值为 0，即没有限制。
log file ：指定日志文件
read only ：设定是否允许客户上载文件。若为 true 任何上载请求均会失败，若为 false且客户端拥有服务器目录读写权限则可以上载。默认值为 true。
write only：设定是否允许客户下载文件。若为 true任何下载请求均会失败，默认值为 false。
List：设定当客户请求可以使用的模块列表时，是否列出该模块。若为 false，则创建隐藏的模块。默认值为 true。
fake super：允许文件享有所有权限，而无需后台服务以 root权限进行操作。
Filter：设置过滤列表以决定哪些文件可由客户端访问。
hosts allow：指定允许客户连接的 IP地址。可以为单个 IP 地址或整个网段。多个 IP 或网段需要以空格隔开。默认是允许所有主机连接。
dont compress：指定不进行压缩处理即可传输的文件，默认值是 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz
pre-xfer exec, post-xfer exec：设置可在文件传输前／后执行的命令。若在文件传输前执行的命令失败，则取消本次传输操作。

需要注意的是服务器端启动：/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf

连接远程服务器的两种方式的基本语法

（1）通过远程 shell方式：

rsync [OPTION] [USER@]HOST:SRC DEST：用远程 shell（如 ssh, rsh）实现将远程机器的内容拷贝到本地机器。 SRC地址路径中以单个冒号 ":" 进行分隔。
rsync [OPTION] SRC [USER@]HOST:DEST：使用远程 shell（如 rsh、ssh）实现本地机器的内容拷贝到远程机器。 DEST地址路径中以单个冒号 ":" 进行分隔。

（2）通过 rsync daemon方式：

rsync [OPTION] [USER@]HOST::SRC DEST或rsync [OPTION] rsync://[USER@]HOST[:PORT]/SRC [DEST]：从远程 rsync服务器中拷贝文件到本地机。 SRC 地址路径中以双冒号 "::" 进行分隔。
rsync [OPTION] SRC [USER@]HOST::DEST或rsync [OPTION] SRC rsync://[USER@]HOST[:PORT]/DEST：从本地机器拷贝文件到远程 rsync服务器中。 DEST 地址路径中以双冒号 "::"进行分隔。

如果 rsync命令中只指定 SRC 参数而不指定 DEST参数，则意为显示源文件列表而非进行同步拷贝。

Options:

-v, --verbose详细模式输出

-q, --quiet精简输出模式

-c, --checksum打开校验开关，强制对文件传输进行校验

-a, --archive归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive对子目录以递归模式处理

-R, --relative使用相对路径信息

-b, --backup创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX定义备份文件前缀

-u, --update仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-l, --links保留软链结

-L, --copy-links想对待常规文件一样处理软链结

--copy-unsafe-links仅仅拷贝指向SRC路径目录树以外的链结

--safe-links忽略指向SRC路径目录树以外的链结

-H, --hard-links保留硬链结

-p, --perms保持文件权限

-o, --owner保持文件属主信息

-g, --group保持文件属组信息

-D, --devices保持设备文件信息

-t, --times保持文件时间信息

-S, --sparse对稀疏文件进行特殊处理以节省DST的空间

-n, --dry-run现实哪些文件将被传输

-W, --whole-file拷贝文件，不进行增量检测

-x, --one-file-system不要跨越文件系统边界

-B, --block-size=SIZE检验算法使用的块尺寸，默认是700字节

-e, --rsh=COMMAND指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件

--existing仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete 删除那些DST中SRC没有的文件

--delete-excluded同样删除接收端那些被该选项指定排除的文件

--delete-after传输结束以后再删除

--ignore-errors及时出现IO错误也进行删除

--max-delete=NUM最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输

--force 强制删除目录，即使不为空

--numeric-ids不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间，单位为秒

-I, --ignore-times不跳过那些有同样的时间和长度的文件

--size-only当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间

--modify-window=NUM决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR在DIR中创建临时文件

--compare-dest=DIR同样比较DIR中的文件来决定是否需要备份

-P 等同于 --partial

--progress显示备份过程

-z, --compress对备份的文件在传输时进行压缩处理

--exclude=PATTERN指定排除不需要传输的文件模式

--include=PATTERN指定不排除而需要传输的文件模式

--exclude-from=FILE排除FILE中指定模式的文件

--include-from=FILE不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 绑定到特定的地址

--config=FILE指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT指定其他的rsync服务端口

--blocking-io对远程shell使用阻塞IO

-stats 给出某些文件的传输状态

--progress在传输时现实传输过程

--log-format=formAT指定日志文件格式

--password-file=FILE从FILE中得到密码

--bwlimit=KBPS限制I/O带宽，KBytes per second

-h, --help 显示帮助信息

实例：

（1）查看服务端文件及列表：

rsync 9.186.110.53::查看服务端可用的模块列表以及注释信息；rsync ibmuser@9.186.110.53::www/查看服务端 www 模块中的目录及文件列表（使用 rsyncd用户认证方式）
rsync ibmuser@9.186.110.53:/var/www/html/查看服务端 /var/www/html目录中的内容（使用服务端的系统用户进行验证，如 ibmuser）

（2）保持客户端与服务端的数据同步：

rsync -avz ibmuser@9.186.110.53::www/ /backup1/使用后台服务方式将服务端 www模块下的内容备份到本地 /backup1目录中，备份时保留原有权限、属性、属主及符号连接等，并使用压缩方式加快数据传输。
rsync– avz ibmuser@9.186.110.53:/var/www/html /backup2/使用 ssh方式将远程的 /var/www/html目录备份到本地 /backup2/ 目录下
rsync -avz --delete ibmuser@9.186.110.53::www/ /backup3/将远程 www模块备份到本地 /backup3/ 目录中，同时进行同步目录，删除本地目录中多余的文件。

（3）当服务端的数据出现问题时，需要通过客户端的数据对服务端进行恢复，只要客户端有服务端的写入权限，即可通过调换 rsync命令的 SRC、DEST参数进行恢复。

ftp

ftp命令使用文件传输协议(File Transfer Protocol ,FTP)在本地主机和远程主机之间或者两个远程主机之间进行文件传输。FTP协议允许数据在不同文件系统的主机之间传输。尽管这个协议在传输数据上提供了高适应性，但是它并没有尝试去保留一个特定文件系统上的文件属性（例如一个文件的保护模式或者修改次数）。而且 FTP协议很少对一个文件系统的整体结构作假定，也不提供这样的功能，比如递归的拷贝子目录。在使用 ftp命令时，需要注意 FTP 协议的这些特性。当需要保留文件属性或者需要递归的拷贝子目录时，可以使用 rcp/scp等命令。

如果需要将文件以ftp传输到目的服务器上，必须在目的服务器上安装ftp server，基本的安装和启动过程如下：

根据服务对象的不同，FTP服务可以分为两类：一类是系统FTP服务器，它只允许系统上的合法用户使用；另一类是匿名FTP服务器，它允许任何人登录到FTP服务器，和服务器连接后，在登录提示中输入Anonymous，即可访问服务器。

Yum list *ftp* （找到可用的Ftp包）

sudo yum install ftp包

手工启动和关闭：启动：/usr/sbin/ftprestart 关闭：/usr/sbin/ftpshut

FTP服务器的配置：为了确保FTP服务器安全，必须设置一些重要的配置文件，以更好地控制用户的访问权限。这些配置文件是：/etc/ftpusers；/etc/ftpconversions；/etc/ftp-groups；/etc/ftpphosts；/etc/ftpaccess。利用这些文件，能够非常精确地控制哪些人、在什么时间、从什么地点可以连接服务器，并且可以对他们连接后所做的工作进行检查跟踪。

（1）/etc/ftpusers：该文件夹中包含的用户不能通过FTP登录服务器，有时将需要禁止的用户账号写入文件/etc/ftpuser中，这样就可以禁止一些用户使用FTP服务。

（2）/etc/ftpconversions：用来配置压缩/解压缩程序。

（3）/etc/ftpgroups：创建用户组，这个组中的成员预先定义可以访问FTP服务器。

（4）/etc/ftpphosts：用来根据禁止或允许远程主机对特定账户的访问，例如：allow czc 192.168.0.0/24 deny cdd 10.0.0.0/8（表示允许czc用户从192.168.0这个网段连线访问，拒绝cdd从10.这个网段连线访问）。

（5） /etc/ftpaccess：是非常重要的一个配置文件，用来控制存取权限，文件中的每一行定义一个属性，并对属性的值进行设置。下面对它的一些常用配置做一点介绍：

定义用户类别：格式：class [类名] [real/guest/anonymous][IP地址] 功能：这个指令的功能设定FTP服务器上用户的类别。并可对客户端的IP地址进行限制，允许特定或者全部的IP地址访问FTP服务器。
登录重试次数：在命令行中输入：loginfails 10，这表明如果10次还没有登录成功就切断连线。
密码检查：格式：passwd-check〈strictness〉 warn。是对匿名用户的密码使用方式的检查，其中〈strictness〉是三个可能的字符串之一：None、Trivial、RFC822。若选None，表示将不对口令做任何检查；若选Trivial，表示对口令有一定的要求，它需要在口令中至少要有一个@符号；若选RFC822，则表示最严格，要求E-mail地址必须遵守RFC822报文标题标准（如：czc@domain.com）。例如：passwd-check rfc822 warn，表明密码的要求很严格，当密码不符合规定时出现警告信息。
登录人数的限制：格式：limit [类别] [人数] [时间] [文件名]。设置指定类别在约定时间内可以登录FTP的人数。例如：limit remote Any/etc/many.msg，说明类别Remote类别在任何时间内登录人数不超过20个人，否则会显示Many.msg警告信息。

安装、配置好FTP服务器后，只需要在命令提示符后输入：FTP Servername，用主机名或希望连接的FTP服务器的IP地址代替Servername，按照提示输入用户名和口令，然后用标准的Linux上移或下移FTP服务器目录结构。另外，也可以采用图形化FTP程序，包括窗口式gFTP，可以借助Web浏览器去访问FTP服务器。

在登录上ftp后，可以使用如下ftp命令进行操作：

FTP> !从 ftp 子系统退出到外壳
FTP> ?显示 ftp 命令说明，和 help相同，格式:? [command]说明:[command]指定需要帮助的命令名称。假如没有指定 command,linux ftp命令参数将显示全部命令的列表。
FTP> append 使用当前文档类型配置将本地文档附加到远程电脑上的文档。格式:append local-file [remote-file]，说明:local-file指定要添加的本地文档，remote-file指定要添加 local-file 的远程电脑上的文档。假如省略了 remote-file,本地文档名将被用作远程文档名。
FTP> ascii将文档传送类型配置为默认的 ASCII。说明:linux ftp命令参数支持两种文档传送类型,ASCII码和二进制图像，在传送文本文档时应该使用ASCIIFTP> bell转换响铃以在每个文档传送命令完成后响铃，默认情况下,铃声是关闭的。
FTP> binary(或bi)将文档传送类型配置为二进制
FTP> bye(或by)结束和远程电脑的linux ftp命令参数会话并退出linux ftp命令参数。
FTP> cd更改远程电脑上的工作目录。格式:cd remote-directory，说明:remote-directory指定要更改的远程电脑上的目录。
FTP> close结束和远程服务器的linux ftp命令参数会话并返回命令解释程式。
FTP> debug转换调试。当调试打开时,发送到远程电脑的每个命令都打印,前面是字符串">"。默认情况下,调试是关闭的。
FTP> delete删除远程电脑上的文档。格式:delete remote-file，说明:remote-file指定要删除的文档。
FTP> dir显示远程目录文档和子目录列表。格式:dir [remote-directory] [local-file]，说明:remote-directory指定要查看其列表的目录。假如没有指定目录,将使用远程电脑中的当前工作目录。Local-file指定要存储列表的本地文档。假如没有指定,输出将显示在屏幕上。
FTP> disconnect 从远程电脑断开,保留linux ftp命令参数提示。
FTP> get使用当前文档转换类型将远程文档复制到本地，格式:get remote-file [local-file]，说明:remote-file指定要复制的远程文档，Local-file指定要在本地电脑上使用的名称，假如没有指定,文档将命名为 remote-file。
FTP>glob转换文档名组合，组合允许在内部文档或路径名中使用通配符(*和?)，默认情况下,组合是打开的。
FTP>hash转换已传输的每个数据块的数字签名 (#)打印，数据块的大小是2048 字节，默认情况下,散列符号打印是关闭的。
FTP>help显示linux ftp命令参数命令说明。格式:help [command]，　　说明:command指定需要有关说明的命令的名称，假如没有指定 command,linux ftp命令参数将显示全部命令的列表。
FTP>lcd 更改本地电脑上的工作目录，默认情况下,工作目录是启动linux ftp命令参数的目录。格式:lcd [directory]，说明:directory指定要更改的本地电脑上的目录，假如没有指定directory,将显示本地电脑中当前的工作目录。
FTP>literal将参数逐字发送到远程linux ftp命令参数服务器，将返回单个的linux ftp命令参数回复代码，格式:literal argument [ ...]，说明:argument指定要发送到linux ftp命令参数服务器的参数。
FTP>ls显示远程目录文档和子目录的缩写列表，格式:ls [remote-directory] [local-file]，说明:remote-directory指定要查看其列表的目录，假如没有指定目录,将使用远程电脑中的当前工作目录，local-file指定要存储列表的本地文档??假如没有指定,输出将显示在屏幕上。
FTP>mdelete 删除远程电脑上的文档，格式:mdelete remote-files [ ...]，说明:remote-files指定要删除的远程文档。
FTP>mdir 显示远程目录文档和子目录列表，能够使用 mdir指定多个文档，格式:mdir remote-files [ ...] local-file，说明:remote-files指定要查看列表的目录，必须指定 remote-files，请键入 -使用远程电脑上的当前工作目录。local-file指定要还原列表的本地文档，请键入- 在屏幕上显示列表。
FTP>mget使用当前文档传送类型将远程文档复制到本地电脑，格式:mget remote-files [ ...]，说明:remote-files指定要复制到本地电脑的远程文档。
FTP>mkdir创建远程目录，格式:mkdir directory，说明:directory指定新的远程目录的名称。
FTP>mls显示远程目录文档和子目录的缩写列表，格式:mls remote-files [ ...] local-file，说明:remote-files指定要查看列表的文档，必须指定 remote-files;，请键入-使用远程电脑上的当前工作目录。local-file指定要存储列表的本地文档，请键入 - 以在屏幕上显示列表。
FTP>mput使用当前文档传送类型将本地文档复制到远程电脑上。格式:mput local-files [ ...]，说明:local-files指定要复制到远程电脑的本地文档。
FTP>open和指定的linux ftp命令参数服务器连接，格式:open computer [port]，说明:computer指定要连接的远程电脑??能够通过 IP地址或电脑名称指定电脑(DNS 或主机文档必须可用)，假如自动登录打开(默认),ftp还将尝试自动将用户登录到linux ftp命令参数服务器port指定用来联系linux ftp命令参数服务器的端口号。
FTP>prompt转换提示，假如关闭提示时 mget 及 mput 传送任何文档,linux ftp命令参数在多文档传送过程中将提示允许您有选择地检索或存储文档，默认情况下,提示是打开的。
FTP>put使用当前文档传送类型将本地文档复制到远程电脑上，格式:put local-file [remote-file]，说明:local-file指定要复制的本地文档，remote-file指定要在远程电脑上使用的名称??假如没有指定,文档将命名为 local-fileFTP>pwd显示远程电脑上的当前目录。
FTP>quit结束和远程电脑的linux ftp命令参数会话并退出linux ftp命令参数。
FTP>quote 将参数逐字发送到远程linux ftp命令参数服务器，将返回单个的linux ftp命令参数回复代码。
FTP>recv使用当前文档传送类型将远程文档复制到本地电脑，Recv和 get相同。格式:recv remote-file [local-file]，说明:remote-file指定要复制的远程文档，local-file指定要在本地电脑上使用的名称，假如没有指定,文档将命名为 remote-file。
FTP>remotehelp显示远程命令帮助，格式:remotehelp [command]，说明:command指定需要帮助的命令的名称，假如没有指定 command,linux ftp命令参数将显示全部远程命令的列表。
FTP>rename重命名远程文档，格式:rename filename newfilename，说明:filename指定要重命名的文档，newfilename指定新的文档名。
FTP>rmdir删除远程目录，格式:rmdir directory，说明:directory指定要删除的远程目录的名称。
FTP>send使用当前文档传送类型将本地文档复制到远程电脑上，Send和put 相同，格式:send local-file [remote-file]，说明:local-file指定要复制的本地文档，remote-file指定要在远程电脑上使用的名称，假如没有指定,文档将命名为 local-file。
FTP>status 显示linux ftp命令参数连接和转换的当前状态。
FTP>trace转换数据包跟踪，Trace 在运行linux ftp命令参数命令时显示每个数据包的路由。
FTP>type 配置或显示文档传送类型，格式:type [type-name]，说明:type-name指定文档传送类型，默认配置为 ascii，假如没有指定type-name,将显示当前的类型。
FTP>user 指定远程电脑的用户，格式:user username [password] [account]，说明:user-name指定登录到远程电脑所使用的用户名，password指定 user-name 的密码，假如没有指定,但必须指定,linux ftp命令参数会提示输入密码。account指定登录到远程电脑所使用的帐户，假如没有指定account,但是需要指定,linux ftp命令参数会提示您输入帐户
FTP>verbose转换 verbose 模式，假如打开,将显示任何 linux ftp命令参数响应，在文档传送完成后,将同时显示和传送效率有关的统计信息，默认情况下,verbose是打开的。

sftp

sftp（安全文件传输协议）与 ftp有着几乎一样的语法和功能。FTP 为 SSH的一部份，是一种传输档案至 Blogger伺服器的安全方式。它并不使用ftp守护进程（ftpd或wu-ftpd）来进行连接，而是有意义地增强系统的安全性。实际上，通过监视一些系统中的log文件，可以注意到很多攻击是针对于ftpd守护进程的。sftp避免了这些攻击从而可以停止在wu-ftpd上潜在的危险。SFTP本身没有单独的守护进程，它必须使用sshd守护进程（端口号默认是22）来完成相应的连接操作。使用SFTP是非常安全的。但是，由于这种传输方式使用了加密/解密技术，所以传输效率比普通的FTP要低得多，如果您对网络安全性要求更高时，可以使用SFTP代替FTP。

用法举例：

（1）sftp root@10.48.30.192:/root/test.sh（直接将192上的文件复制到本地）

（2）sftp root@10.48.30.192:/root （直接连接到192的root目录下，这样就可以使用get put等命令了）

sftp使用在数据连接上使用ssh2，所以文件的传输是尽可能地安全。使用sftp代替ftp两个主要的的原因是：

（1）password从不用明文传输，防止sniffer（嗅探器）的攻击。

（2）数据在传输时被加密，使用刺探和修改连接非常困难。

使用sftp2是非常简单的。让我们假设你使用了你的帐户：myname通过sftp连按上了主机host1。可以使用命令：sftp myname@host1。当sftp2准备好了来接受连接时，它将显示一个状态提示符 sftp>。在sftp手册中有完整的用户可以使用的命令列表；其中有：

quit：从这个应用程序中退出。
cd directory：改变当前的远程工作目录。
lcd directory：改变当前的本地工作目录。
ls [ -r ] [ -l ] [ file ... ]：列出在远地服务器上的文件名。如果是目录，则列出目录的内容。当命令行中指定了-r，则递归地显示目录树。（默认情况下，子目录并不被访问）。当命令行中指定了-l，文件与目录的权限，属主，大小和修改时间被列出。当没有参数被指定，则.（当前目录）的内容被列出。普通情况下选项-r和-l是互相不兼容的。
lls [ -r ] [ -l ] [ file ... ]：与ls一样，但是是对于本地文件操作。
get [file ...]：从远程端传送指定的文件到本地端。目录内容被递归地复制。
put [ file ... ]：从本地端传送指定的文件到远地端。目录内容被递归地复制。
mkdir dir (rmdir dir)：尝试建立或删除参数中指定的目录。
通配符对于ls,lls,get和put是支持的。格式在sshregex手册中有描述。

从sftp使用加密技术以来，一直有一个障碍：连接速度慢（有2-3倍），但是这一点对于非常好的安全性来讲只能放在一边了。在一个测试中，局域网上的sniffer可以在一个小时中捉住ftp连接上的4个password.。sftp的使用可以从网络上传送文件并且除去这些安全问题。

lftp

lftp 是一个功能强大的下载工具，它支持访问文件的协议: ftp, ftps, http, https, hftp, fish.(其中ftps和https需要在编译的时候包含openssl库)。llftp非常像一个shell:有命令补全，历史记录，允许多个后台任务执行等功能，使用起来非常方便。它还有书签、排队、镜像、断点续传、多进程下载等功能。

命令行语法

(1) lftp [-d] [-e cmd] [-p port] [-u user[,pass]] [site]

-e在选择后执行命令

-u [,]使用指定的用户名/口令进行验证

-p连接指定的端口

Site:主机名，URL或书签的名字

(2) lftp -f script_file

执行文件中的命令后退出

(3) lftp -c commands

执行命令后退出

(4) lftp –version

显示 lftp版本后退出

(5) lftp --help

显示帮助信息后退出

例子：

（1）如果在命令行中输入的站点名称，lftp将直接登录站点，比如

lftp ftp://.............

（2）如果在命令行不输入站点名称，则必须在进入到lftp界面后用open命令打开

Lftp

lftp :~> open ftp://...................

常用命令：

下载单个文件和一组文件，断点续传用-c参数

lftp ................:/> get -c ls-lR.txt

lftp ...............:/> mget *.txt

镜像(反镜像即上传)一个目录，可以用多个线程并行镜像一个目录(--parallel=N)

lftp ................:/> mirror incoming local_name

lftp ................:/> mirror -R local_name

lftp ................:/> mirror --parallel=3 incoming local_name

多线程下载，类似网络蚂蚁的功能;缺省是5个线程

lftp ................:/> pget -n 4 ls-lR.txt

后台任务管理

缺省情况下，按 Ctrl+z,正在执行的任务将转为后台执行，也可以在命令行末尾加&符号使任务在后台执行。用jobs命令可以查看所有的后台进程。用queue命令可以排队新的任务。如果退出lftp是还有任务在后台执行，lftp将转为后台执行。

其它用法

lftp支持类似bash的管道操作，例如用下面的命令可以将ftp服务器上的特定目录下(也可以是整个站点)所有文件的大小存到本地的文件ls.txt中

lftp ................:/> du incoming > ls.txt

相关文件

（1） /etc/lftp.conf

全局配置文件，实际位置依赖系统配置文件目录，可能在/etc，也可能在/usr/local/etc

（2） ~/.lftp/rc, ~/.lftprc

用户配置文件，将在/etc/lftp.conf之后执行，所以这里面的设置会覆盖/etc/lftp.conf中的设置。

（3） lftp 缺省不会显示 ftp服务器的欢迎信息和错误信息，这在很多时候不方便，因为你有可能想知道这个服务器到底是因为没开机连不上，还是连接数已满。如果是这样，你可以在 ~/.lftprc里写入一行， debug 3，就可以看到出错信息了。更多的配置选项请查man手册或在lftp界面内用命令 set -a 获得。

（4） ~/.lftp/log

当lftp转为后台非挂起模式执行时，输出将重定向到这里

（5） ~/.lftp/bookmarks

这是lftp存储书签的地方，可以lftp查看bookmark命令

（6） ~/.lftp/cwd_history

这个文件用来存储访问过的站点的工作目录

（7） ~/.lftprc

在用lftp访问国内一些ftp服务器时，往往看到的中文是乱码。不用慌，这是由于服务器和本地编码不一致造成的。我们只要在主目录下新建一个文件~/.lftprc或者~/.lftp/rc。并在其中加入以下内容：debug 3set ftp:charset GBKset file:charset UTF-8#set ftp:passtive-mode no#alias utf8 " set ftp:charset UTF-8"#alias gbk " set ftp:charset GBK"

登录ftp服务器：

lftp ftp://user:password@site:port

lftp user:password@site:port

lftp site -p port -u user,password

lftp site:port -u user,password

上面的几种方式都能正常工作，不过密码都是明文，这样好像不太安全哦。没关系，使用lftp user@site:port，系统会提示输入password，密码就回显为******了，不过每次都输入这么多，好麻烦哦。如果有类似leapftp的站点管理器就好了，其实lftp早就给我们想好了：这就是bookmark。后面我们将会看到。

在终端运行如man lftp或登录ftp后输入help就可以看到命令列表，下面我们看一下lftp常用的命令：

（1） ls：显示远端文件列表(!ls显示本地文件列表)。

（2） cd：切换远端目录(lcd切换本地目录)。

（3） get：下载远端文件。

（4） mget：下载远端文件(可以用通配符也就是 *)。

（5） pget：使用多个线程来下载远端文件,预设为五个。

（6） mirror：下载/上传(mirror -R)/同步整个目录。

（7） put：上传文件。

（8） mput：上传多个文件(支持通配符)。

（9） mv：移动远端文件(远端文件改名)。

（10） rm：删除远端文件。

（11） mrm：删除多个远端文件(支持通配符)。

（12） mkdir：建立远端目录。

（13） rmdir：删除远端目录。

（14） pwd：显示目前远端所在目录(lpwd显示本地目录)。

（15） du：计算远端目录的大小

（16） !：执行本地 shell的命令(由于lftp没有 lls, 故可用 !ls来替代)

（17） Lcd：切换本地目录

（18） Lpwd：显示本地目录

（19） Alias：定义别名

（20） Bookmark：设定书签。

（21） Exit：退出ftp

（22）快捷书签：ftp中的bookmark命令，是将配置写到~/.lftp/bookmarks文件中；我们可以直接修改此文件，快速登陆ftp服务器。

wget

wget 是一个经由 GPL许可的可从网络上自动获取文件的*软件包。它是一个非交互式的命令行工具。支持 HTTP，HTTPS和 FTP 协议，支持代理服务器以及断点续传功能。 wget可实现递归下载，即可跟踪 HTML 页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构，实现远程网站的镜像。在递归下载时，wget将页面中的超级链接转换成指向本地文件，方便离线浏览。由于非交互特性，wget支持后台运行，用户在退出系统后，仍可继续运行。功能强大，设置方便简单。

基本语法: wget [options] [URL-list]

Options:

-r 递归下载服务器上所有的目录和文件。由 -l选项来指定递归深度。

-b 后台下载

-m 制作站点镜像

-c 指定断点续传功能。该功能要求服务器支持断点续传。

-I 指定下载目录列表，可实现批量下载

-A/-R 指定接受／拒绝下载列表，实现选择性地下载

--proxy=on/off 指定是否利用代理服务器进行下载

-t, --tries=NUMBER 最大尝试链接次数 (0表示无限制，默认为 20 次 )

-nc, --no-clobber 不覆盖已存在的文件

-N, --timestamping 只下载比本地新的文件

-nd --no-directories 不进行目录结构创建

-x, --force-directories 强制创建目录结构

-nH, --no-host-directories 不继承主机目录结构

-P, --directory-prefix=PREFIX设置目录前缀

例子：递归下载 http://www.ibm.com.cn站点的信息。下载所有显示完整网页所以需要的文件，如图片等。在下载不进行上层目录搜索并将绝对链接转换为相对链接。

wget -r -p -np -k http://www.ibm.com.cn

将在本地硬盘建立 http://www.ibm.com.cn的镜像，镜像文件存入当前目录下一个名为 www.ibm.com.cn的子目录中（也可以使用 -nH 参数指定不建立该子目录，而直接在当前目录下建立镜像的目录结构），递归深度为 4，重试次数为无穷（若连接出现问题，wget将永远重试下去，直至任务完成）

wget -m -l4 -t0 http://www.ibm.com.c

使用代理进行下载，并实现断点续传。代理可以在环境变量 PROXY或 wgetrc 文件中设定。 -c选项要求服务支持断点续传。

wget -Y on -c http://www.ibm.com.cn

curl

curl是对 libcurl库的一个命令行工具包装。 libcurl库中提供了相应功能的 API，可以在程序中调用。 curl使用 URL 的语法来传输文件，它支持 FTP, FTPS, HTTP, HTTPS, TFTP, SFTP, TELNET等多种协议。 curl 功能强大，它提供了包括代理支持，用户认证，FTP 上载，HTTP post，SSL连接，文件续传等许多特性。

基本语法：curl [options … ] <url>

其中下载参数大约有 80多个，curl 的各个功能完全依靠这些参数来完成。下面举例说明 curl的一些基本用法。

使用实例：

（1）获取 GNU的主页curl http://www.gnu.org

（2）获取 GNU的 FTP 服务器上根目录下的 README文件curl ftp://ftp.gnu.org/README

（3）从一个字典中获取 curl的定义curl dict://dict.org/m:curl

（4）如果需要指定用户名和密码的话，可以在 url中指定，或者使用 -u 参数curl ftp://name:passwd@machine.domain:port/full/path/to/file或者curl -u name:passwdftp://machine.domain:port/full/path/to/file

（5） curl 会将从指定 url处获取的内容打印到标准输出上。如果需要保存在本地文件中，可以使用 -o，或使用 -O参数指定使用远程主机上的文件名（如果 url中没有给出文件名的部分，则此操作将会失败）curl -o gnu.htmlhttp://www.gnu.org或者curl -Ohttp://www.gnu.org/index.html

（6）使用 -x选项来使用代理进行连接curl -x my-proxy:portftp://ftp.somesite.com/README

（7）通过使用 curl的 -T 选项来进行上载curl -T -ftp://ftp.upload.com/upfile，此命令从标准输入读取数据，并上载至远程 FTP服务器上的 upfile 文件中。也可以指定上载一个本地文件curl -T localfile -a ftp://ftp.upload.com/upfile其中 -a参数表示以添加方式将 localfile中的内容附加到 upfile 的末尾。

总的来说，curl适合用来进行自动的文件传输或操作序列，它是一个很好的模拟用户在网页浏览器上的行为的工具。尤其当需要在程序中调用时，libcurl是个很好的选择。

传输速度

因为经常在服务器见进行文件传输，就对传输速度和带宽有要求，这里总结一下可以影响以上rcp,scp,rsync,ftp,sftp,lftp,wget,curl这6个命令的传输速度和带宽的参数：

(1) rcp：没有参数可以调整带宽和传输速度

(2) scp：如果传输的文件没有压缩，可以使用-C参数（-C使能压缩选项）。-c 选择使用那个加密算法，具体对应到ssh的-c cipher-spec，这个参数值会被传给ssh，可选择值3des，blowfish，des），使用blowfish会快很多，可以参看man ssh 中的-c cipher-spec。可以使用-l限制使用带宽，Kbit/s。避免因为传输文件而影响其他程序使用带宽。-o ssh_option使用ssh选项

(3) rsync:-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节；-z, --compress对备份的文件在传输时进行压缩处理；--bwlimit=KBPS限制I/O带宽，KBytes per second；-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

(4) ftp：FTP> ascii将文档传送类型配置为默认的 ASCII。说明:linux ftp命令参数支持两种文档传送类型,ASCII码和二进制图像，在传送文本文档时应该使用ASCII。Binary二进制传输。

(5) sftp: -B buffer_size， -C使用压缩，-o ssh_option使用ssh选项

(6) lftp：可以调整进程数等

(7) wget: --limit-rate=amount限制带宽。

(8) curl：-B/--use-ascii和--ciphers <list of ciphers>，--compressed等。

总结

（1）传输性能：wget通过支持后台执行及断点续传提高文件传输效率； rsync则以其高效的传输及压缩算法达到快传输的目的。

（2）配置难度：rcp只需进行简单的配置，创建.rhost文件以及设置/etc/hosts文件中主机名与IP地址列表； wget设置方便简单，只需在客户端指定参数执行命令即可； rsync在使用前需要对服务端/etc/rsyncd.conf进行参数设定，配置内容相对复杂。

（3）安全性能：ftp、rcp不保证传输的安全性，scp、rsync则均可基于ssh认证进行传输，提供了较强的安全保障。wget也可通过指定安全协议做到安全传输。

通过上述的对比不难发现，每种文件传输方法基于其自身的特点与优势均有其典型的适用场景：

（1） ftp 作为最常用的入门式的文件传输方法，使用简单，易于理解，并且可以实现脚本自动化；但是需要安装ftp server才可以访问远程ftp server

（2） rcp 相对于ftp可以保留文件属性并可递归的拷贝子目录；

（3） scp 利用ssh传输数据，并使用与ssh相同的认证模式，相对于rcp提供更强的安全保障；

（4） wget实现递归下载，可跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构，适合实现远程网站的镜像；

（5） curl 则适合用来进行自动的文件传输或操作序列，是一个很好的模拟用户在网页浏览器上的行为的工具；

（6） rsync 更适用于大数据量的每日同步，拷贝的速度很快，相对wget来说速度快且安全高效。

（7） sftp使用在数据连接上使用ssh2，所以文件的传输是尽可能地安全。但传输速度慢。是ftp的替代品，比ftp安全，不能访问http资源。

（8） lftp可以访问ftp资源，也可以访问http资源。支持断点续传，多进程下载。

秒客网

linux下不同服务器间数据传输(rcp,scp,rsync,ftp,sftp,lftp,wget,curl)

相关文章