参考网站：
http://www.open-open.com/lib/view/open1435468300700.html
http://blog.****.net/lynnlovemin/article/details/39398043
http://soartju.iteye.com/blog/803477
http://soartju.iteye.com/blog/803524
http://soartju.iteye.com/blog/803548
http://blog.****.net/poechant/article/details/6977407
Tracker 192.168.42.2
Group1-Storage1 192.168.42.3
Group1-Storage1 192.168.42.4
Group2 ……
Group2 ……
Group3 ……
Group3 ……
本文只配置了一组Storage，如需配置多组，请参考Group1的配置即可。
1 FastDFS简介
FastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。该开源项目的主页是http://code.google.com/p/fastdfs。可以通过fastdfs.sourceforge.net下载。FastDFS论坛是http://www.csource.org，目前是指向 ChinaUnix 开源项目孵化平台的一个板块 FastDFS，网址为 bbs.chinaunix.net/forum-240-1.html。
1.1 FastDFS介绍
FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta
data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta
data是文件属性列表，可以包含多个键值对。
1.2
FastDFS系统结构
跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷
的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。
上传文件交互过程:
1.
client询问tracker上传到的storage，不需要附加参数；
2.
tracker返回一台可用的storage；
3.
client直接和storage通讯完成文件上传。
下载文件交互过程：
1.client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
2.
tracker返回一台可用的storage；
3.
client直接和storage通讯完成文件下载。需要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。
2
安装配置FastDFS
下载FastDFS安装包：
FastDFS官方论坛：http://www.csource.org
下载1：http://sourceforge.net/projects/fastdfs/files/
下载2：https://code.google.com/p/fastdfs/downloads/list
本手册使用CentOS 6.5 x86_64版操作系统，按照以下网络结构进行部署：
所需要下载的压缩包有：
FastDFS源代码：FastDFS_4.06.tar.gz
我们搭建完的分布式环境，还需要nginx帮忙实现http访问以及负载均衡、缓存等功能，涉及的压缩包如下：
nginx模块源代码：fastdfs-nginx-module_v1.15.tar.gz
nginx服务器源代码：nginx-1.2.8.tar.gz
nginx
cache purge插件源代码：ngx_cache_purge-2.3.tar.gz
nginx依赖的pcre库源代码：pcre-8.21.tar.gz
nginx依赖的zlib库源代码：zlib-1.2.8.tar.gz
nginx依赖的ssl库源代码：openssl-1.0.1c.tar.gz
将上述安装包拷贝到/usr/local目录下
2.1
安装FastDFS（All服务器）
cd /usr/local/
tar -zxvf FastDFS_4.06.tar.gz
cd FastDFS
./make.sh
./make.sh install
过程中如果没有报错，则安装完成后，所有可执行文件在/usr/local/bin下，以fdfs开头
cd /usr/local/bin/
ls
event_rpcgen.py fdfs_append_file fdfs_download_file fdfs_storaged
fdfs_trackerd
pcre-config restart.sh
fdfs_appender_test fdfs_crc32 fdfs_file_info fdfs_test fdfs_upload_appender pcregrep
stop.sh
fdfs_appender_test1 fdfs_delete_file fdfs_monitor fdfs_test1 fdfs_upload_file pcretest
所有配置文件在/etc/fdfs下
cd /etc/fdfs/
ls
client.conf http.conf
mime.types storage.conf tracker.conf
至此FastDFS安装完成。
2.2
配置tracker（192.168.42.2）
编辑配置文件下的tracker.conf，设置相关信息并保存。
改动以下几个参数即可：
[root@xldwhj
~]# vim /etc/fdfs/tracker.conf
disabled=false #启用配置文件
port=22122 #设置tracker的端口号
base_path=/opt/fastdfs_tracker #设置tracker的数据文件和日志目录（需预先创建）
http.server_port=8080 #设置http端口号
2.3
运行tracker（192.168.42.2）
运行tracker之前，先要把防火墙中对应的fd端口打开（本例中为22122）。
[root@xldwhj
~]# iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 22122 -j
ACCEPT
[root@xldwhj
~]# /etc/init.d/iptables save
然后执行如下命令:
[root@xldwhj
~]# /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
确认启动是否成功。（查看是否对应端口22122是否开始监听）
[root@xldwhj
~]# netstat -unltp | grep fdfs
tcp
0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 3842/fdfs_trackerd
或者是查看tracker的日志是否启动成功或是否有错误。
[root@xldwhj
~]# cat /fdfs/tracker/logs/trackerd.log
设为开机启动：
[root@xldwhj
~]# vim /etc/rc.d/rc.local
将运行命令行添加进文件：/usr/local/bin/fdfs_trackerd
/etc/fdfs/tracker.conf restart
2.4
配置storage（192.168.42.3）
以192.168.42.3服务器为例
[root@xldroot
~]# vim /etc/fdfs/storage.conf
改动以下几个参数即可：
disabled=false #启用配置文件
group_name=group1 #组名，根据实际情况修改
port=23000 #设置storage的端口号
base_path=/opt/fastdfs_storage_info #设置storage的日志目录（需预先创建）
store_path_count=1 #存储路径个数，需要和store_path个数匹配
store_path0=/opt/fastdfs_storage_data #存储路径（需预先创建）
tracker_server=192.168.42.2:22122 #tracker服务器的IP地址和端口号
http.server_port=8080 #设置http端口号
2.5
运行storage（192.168.42.3）
运行storage之前，先要把防火墙中对应的fd端口打开（本例中为23000）。
[root@xldroot
~]# iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 23000 -j
ACCEPT
[root@xldroot
~]# /etc/init.d/iptables save
[root@xldroot
~]# /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf restart
启动storage，会根据配置文件的设置自动创建多级存储目录
[root@xldroot
~]# netstat -unltp | grep fdfs
tcp
0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 2315/fdfs_storaged
确认启动成功后，可以运行fdfs_monitor查看storage服务器是否已经登记到tracker服务器。
[root@xldroot
~]# /usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf
[2016-08-11 14:59:54] DEBUG -
base_path=/opt/fastdfs_storage_info, connect_timeout=30, network_timeout=60,
tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0,
use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0,
storage server id count: 0
server_count=1, server_index=0
tracker server is 192.168.42.2:22122
group count: 1
Group 1:
group name = group1
disk total space = 19685 MB
disk free space = 16150 MB
trunk free space = 0 MB
storage server count = 2
active server count = 2
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 1
current trunk file id = 0
Storage
1:
id
= 192.168.42.3
ip_addr = 192.168.42.3 (xldroot) ACTIVE
http
domain =
version
= 4.06
join
time = 2016-08-10 11:42:36
up
time = 2016-08-11 09:11:59
total
storage = 19685 MB
free
storage = 16150 MB
upload
priority = 10
store_path_count
= 1
subdir_count_per_path
= 256
storage_port
= 23000
storage_http_port
= 8080
current_write_path
= 0
source
storage id=
if_trunk_server=
0
total_upload_count
= 1
success_upload_count
= 1
total_append_count
= 0
success_append_count
= 0
total_modify_count
= 0
success_modify_count
= 0
total_truncate_count
= 0
success_truncate_count
= 0
total_set_meta_count
= 0
success_set_meta_count
= 0
total_delete_count
= 0
success_delete_count
= 0
total_download_count
= 0
success_download_count
= 0
total_get_meta_count
= 0
success_get_meta_count
= 0
total_create_link_count
= 0
success_create_link_count
= 0
total_delete_link_count
= 0
success_delete_link_count
= 0
total_upload_bytes
= 33
success_upload_bytes
= 33
total_append_bytes
= 0
success_append_bytes
= 0
total_modify_bytes
= 0
success_modify_bytes
= 0
stotal_download_bytes
= 0
success_download_bytes
= 0
total_sync_in_bytes
= 0
success_sync_in_bytes
= 0
total_sync_out_bytes
= 33
success_sync_out_bytes
= 33
total_file_open_count
= 2
success_file_open_count
= 2
total_file_read_count
= 0
success_file_read_count
= 0
total_file_write_count
= 2
success_file_write_count
= 2
last_heart_beat_time
= 2016-08-11 14:59:51
last_source_update
= 2016-08-11 11:45:27
last_sync_update
= 2016-08-10 20:18:53
last_synced_timestamp
= 1970-01-01 08:00:00 (never synced)
看到192.168.42.3
ACTIVE即可确认storage运行正常。
设置开机启动
[root@xldroot
~]# vim /etc/rc.d/rc.local
将运行命令行添加进文件：/usr/local/bin/fdfs_storaged
/etc/fdfs/storage.conf restart
之后依次在192.168.42.4上安装上storage并确认运行正常。注意配置文件中group名参数需要根据实际情况调整，本例中group是这样分配的：
group1：192.168.42.3，192.168.42.4
group2：……本文未设置
group3：……本文未设置
另外每个group中所有storage的端口号必须一致。
3
安装配置Nginx
storage中安装nginx，主要是为了为提供http的访问服务，同时解决group中storage服务器的同步延迟问题。而tracker中安装nginx，主要是为了提供http访问的反向代理、负载均衡以及缓存服务。
3.1
storage上安装nginx
以192.168.42.3服务器为例
提前将安装nginx所需的依赖包解压安装:
nginx依赖的pcre库源代码：pcre-8.21.tar.gz
nginx依赖的zlib库源代码：zlib-1.2.8.tar.gz
nginx依赖的ssl库源代码：openssl-1.0.1c.tar.gz
安装详见《CentOS 6.5 下Nginx服务的安装和配置》
将 nginx1.2.8.tar.gz
和fastdfs-nginx-module_v1.15.tar.gz
解压缩，然后进入nginx1.2.8的文件夹目录，执行如下命令:
[root@xldroot
~]# ./configure --prefix=/usr/local/nginx --with-pcre=/usr/local/pcre-8.21
--with-zlib=/usr/local/zlib-1.2.8
--add-module=/usr/local/fastdfs-nginx-module/src
[root@xldroot
~]# make
[root@xldroot
~]# make install
将FastDFS的nginx插件模块的配置文件copy到FastDFS配置文件目录
[root@xldroot
~]# cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
至此nginx以及FastDFS的nginx插件模块安装完成。
3.2
storage上配置nginx
编辑/usr/local/nginx/conf配置文件目录下的nginx.conf，设置添加storage信息并保存。
将server段中的listen端口号改为8080：
Listen
8080;
在server段中添加：
location~/group[1-3]/M00{//根据情况填写，属于group1此处就写group1
root /opt/fastdfs_storage_data/data;
ngx_fastdfs_module;
}
编辑/etc/fdfs配置文件目录下的mod_fastdfs.conf，设置storage信息并保存。
base_path=/opt/fastdfs_storage_info #保存日志目录
tracker_server=192.168.42.2:22122#tracker服务器的IP地址以及端口号
storage_server_port=23000 #storage服务器的端口号
group_name=group1 #当前服务器的group名
url_have_group_name= true #文件url中是否有group名
store_path_count=1 #存储路径个数，需要和store_path个数匹配
store_path0=/opt/fastdfs_storage_data #存储路径
http.need_find_content_type=true #从文件扩展名查找文件类型（nginx时为true）
group_count= 1 #设置组的个数，本文为1个组
在末尾增加组的具体信息：
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/opt/fastdfs_storage_data
如有group2，3等，应接着增加组的信息
建立M00至存储目录的符号连接。
[root@xldroot
~]# ln -s /opt/fastdfs_storage_data /opt/fastdfs_storage_data/M00
3.3
storage上运行nginx
运行nginx之前，先要把防火墙中对应的端口打开（本例中为8080）。
运行命令：
[root@xldroot
~]# /usr/local/nginx/sbin/nginx
[root@xldroot
~]# netstat -unltp | grep nginx
tcp 0
0 0.0.0.0:8080
0.0.0.0:* LISTEN 1969/nginx
在浏览器中输入192.168.42.3：8080如果出现nginx欢迎界面则说明配置成功。
3.4
tracker上安装nginx
在tracker上安装的nginx主要为了提供http访问的反向代理、负载均衡以及缓存服务。
提前将
nginx1.2.8.tar.gz、fastdfs-nginx-module_v1.15.tar.gz、ngx_cache_purge-2.3.tar.gz解压缩，然后进入nginx1.2.8的文件夹目录，执行如下命令:
[root@xldwhjt
~]# ./configure --prefix=/usr/local/nginx --with-pcre=/usr/local/pcre-8.21
--with-zlib=/usr/local/zlib-1.2.8
--add-module=/usr/local/fastdfs-nginx-module/src
--add-module=/usr/local/ngx_cache_purge-2.3
如果提示错误，可能缺少依赖的软件包，需先安装依赖包，再次运行./configure
安装完后在/usr/local/nginx下多出四个目录，分别是fastcgi_temp，proxy_temp，scgi_temp和uwsgi_temp。
proxy_temp这个目录用于存储临时文件，需要看下是否有权限写入，如果不可写，无法在这个目录生成文件的话，会导致反向代理失败。也可以在nginx的配置里设置proxy_temp_path指定已存在的存储临时文件的目录。
[root@xldwhjt
~]# make
[root@xldwhjt
~]# make install
至此nginx以及nginx cachepurge插件模块安装完成。
3.5
tracker上配置nginx
编辑/usr/local/nginx/conf配置文件目录下的nginx.conf，设置负载均衡以及缓存。
worker_processes 4;
#根据CPU核心数而定
events{
worker_connections 65535; #最大链接数
use epoll; 新版本的Linux可使用epoll加快处理性能
}
http{
#设置缓存参数
server_names_hash_bucket_size 128;
client_header_buffer_size32k;
large_client_header_buffers 4 32k;
client_max_body_size300m;
sendfile
on;
tcp_nopushon;
proxy_redirectoff;
proxy_set_headerHost $http_host;
proxy_set_headerX-Real-IP $remote_addr;
proxy_set_headerX-Forwarded-For
$proxy_add_x_forwarded_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size128k;
proxy_temp_file_write_size128k;
#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
#proxy_cache_path
/opt/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:500m max_size=10g
inactive=30d;
#proxy_temp_path
/opt/cache/nginx/proxy_cache/tmp;
proxy_temp_path
/usr/local/nginx/proxy_temp;
proxy_cache_path
/usr/local/nginx/proxy_cache levels=1:2 keys_zone=http-cache:500m max_size=10g
inactive=30d;
#设置group1的服务器
upstreamfdfs_group1 {
server192.168.42.3:8080 weight=1
max_fails=2 fail_timeout=30s;
server192.168.42.4:8080 weight=1
max_fails=2 fail_timeout=30s;
}
#设置group2的服务器
#设置group3的服务器
#设置group4的服务器
server{
#设置服务器端口
Listen
8080;
#设置group1的负载均衡参数
location/group1/M00 {
proxy_next_upstream http_502http_504 error timeout invalid_header;
proxy_cachehttp-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group1;
expires30d;
}
#设置group2的负载均衡参数
#设置group3的负载均衡参数
#设置group4的负载均衡参数
至此，nginx以及nginx cachepurge插件模块设置完成。
proxy_temp_path ： 缓存临时目录。后端的响应并不直接返回客户端，而是先写到一个临时文件中，然后被rename一下当做缓存放在
proxy_cache_path 。0.8.9版本以后允许temp和cache两个目录在不同文件系统上（分区），然而为了减少性能损失还是建议把它们设成一个文件系统上。
proxy_cache_path ... ： 设置缓存目录，目录里的文件名是 cache_key 的MD5值。
levels=1:2 keys_zone=
http-cache:500m表示采用2级目录结构，Web缓存区名称为http-cache，内存缓存空间大小为500MB，这个缓冲zone可以被多次使用。文件系统上看到的缓存文件名类似于
/usr/local/nginx/proxy_cache/c/29/b7f54b2df7773722d382f4809d65029c 。
inactive=10d
max_size=30g表示10天没有被访问的内容自动清除，硬盘最大缓存空间为30GB，超过这个大学将清除最近最少使用的数据。
proxy_cache ： 引用前面定义的缓存区 http-cache
proxy_cache_key ： 定义cache_key
proxy_cache_valid ： 为不同的响应状态码设置不同的缓存时间，比如200、302等正常结果可以缓存的时间长点，而404、500等缓存时间设置短一些，这个时间到了文件就会过期，而不论是否刚被访问过。
expires ： 在响应头里设置Expires:或Cache-Control:max-age，返回给客户端的浏览器缓存失效时间。
3.6
tracker上运行nginx
首先关闭防火墙，或设置防火墙开启端口。
[root@xldwhj
~]# /usr/local/nginx/sbin/nginx
[root@xldwhj
~]# netstat -unltp | grep nginx
tcp
0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 4388/nginx
尝试上传一个文件到FastDFS，然后访问试试。先配置client.conf文件。
[root@xldwhj
~]# vim /etc/fdfs/client.conf
修改以下参数：
base_path=/opt/fastdfs_tracker #日志存放路径
tracker_server=192.168.42.2:22122 #tracker服务器IP地址和端口号
http.tracker_server_port=8080 #tracker服务器的http端口号
4
简单测试
使用/usr/local/bin/fdfs_upload_file上传一个文件，程序会自动返回文件的URL
[root@xldwhj
~]# vim /mnt/111.txt
eaefafafafwafs
dwafawaf
fawfawwf
[root@xldwhj
~]# /usr/local/bin/fdfs_upload_file /etc/fdfs/client.conf /mnt/111.txt
group1/M00/00/00/wKgqBFesLVmAVkiAAAAAIW5_3_Y488.txt
使用浏览器访问：
输入：192.168.42.3：8080/
group1/M00/00/00/wKgqBFesLVmAVkiAAAAAIW5_3_Y488.txt
如下图所示：
查看nginx的cache目录，可以看到已经生成了缓存文件
[root@xldwhj
~]# ll /opt/cache/nginx/proxy_cache/ -R
/opt/cache/nginx/proxy_cache/:
total 4
drwx------ 2 nobody root 4096 Aug 10 17:07 tmp
/opt/cache/nginx/proxy_cache/tmp:
total 0
设置开机启动
如果要手动清除缓存，可以在文件URL之前加上purge：
至此，tracker服务器上的http反向代理+负载均衡+缓存已经安装完成。