linux搭建FastDFS文件服务器

时间:2021-07-10 00:54:06

本文主要介绍在linux服务器如何搭建FastDFS文件服务器。大概分为9个步骤,由于内容较为繁琐。下面带你入坑!

首先简单介绍一下FastDFS是淘宝资深架构师余庆老师主导开源的一个分布式文件系统,用C语言编写。适应与中小企业,对文件不分块。

主要有Tracker(管理) 和Storage (储存)。

返回路径= 组名 /虚拟盘符{M00/00/02} /文件名

linux搭建FastDFS文件服务器

1.软件包

下面是安装FastDFS的安装包,也可以下载到:FastDFS,密码为:ideg

linux搭建FastDFS文件服务器

2.安装gcc

检查系统是否有安装GCC

gcc –version

安装GCC

yum -y install gcc gcc-c++ autoconf pcre pcre-devel make automake
yum -y install wget httpd-tools vim

就把gcc当成c语言编译器, g++当成c++语言编译器用就是了.(知乎)

3.安装libfastcommon

进入libfastcommon压缩包目录解压,编译,安装

tar -zxvf libfastcommonV1.0.7.tar.gz

进入解压的libfastcommon-1.0.7目录,编译

./make.sh

安装

./make.sh install 

最后,libfastcommon.so文件到usr/lib下 ,请按照自己的实际文件路径修改被复制路径

cp /data/fastDFS/software/libfastcommon-1.0.7/src/libfastcommon.so /usr/lib

4.安装FastDFS

解压FastDFS_v5.05.tar.gz,然后编译安装FastDFS

tar -zxvf FastDFS_v5..tar.gz
./make.sh
 ./make.sh install

安装成功后将目录conf内的文件拷贝到/etc/fdfs目录下:

cp /data/fastDFS/software/FastDFS/conf/* /etc/fdfs/

5.安装tracker

进入/etc/fdfs目录,修改tracker.conf文件。如果不存在,就拷贝tracker.conf.sample文件为tracker.conf,然后再修改:

base_path=/home/yuqing/fastdfs >>> base_path=/home/logs/fastdfs (注解:日志文件)

http.server_port= >>> http.server_port= (注解:端口,80是方便默认)

store_group=group1 (注解:组名)

其中,/home/logs/fastdfs目录如果不存在,就创建一个。

之后,就启动tracker,并查看是启动成功(出现如下提示,表示启动成功):restart重启

fdfs_trackerd /etc/fdfs/tracker.conf start
netstat -unltp | grep tracker

linux搭建FastDFS文件服务器

6.安装storage

由于storage和tracker运行的都是fastDFS程序,每一台服务器都部署一台fasfDFS,一台服务器是tracker,一台是storage

修改storage.conf文件。如果不存在,就拷贝storage.conf.sample文件为storage.conf,然后再修改:

base_path=/home/yuqing/fastdfs >>> base_path=/home/logs/storage (日志路径)

store_path0=/home/yuqing/fastdfs >>> store_path0=/home/data/storage  (实际储存文件路径,可以配置多个)

tracker_server=192.168.209.121: >>> tracker_server=192.168.2.231: (连接tracker服务器地址)

group_name=group1 (必须和tracker的组名相同)

http.server_port=80 (这个端口也要改)

其中,如果/home/logs/storage和/home/data/storage不存在,就创建该目录

然后,就启动storage,并查看是否成功(出现如下提示,表示启动成功):

fdfs_storaged /etc/fdfs/storage.conf start
netstat -unltp | grep storage

linux搭建FastDFS文件服务器

最后,查看trackerstorage是不是在通信:

fdfs_monitor /etc/fdfs/storage.conf

如下提示,出现ACTIVE,表示二者均正常启动,至此就可以进行上传文件测试了。

linux搭建FastDFS文件服务器

7.测试图片上传

Tracker和storage都已经安装完成,使用命令测试文件上传:
FastDFS提供一个文件上传命令:usr/bin/fdfs_test 测试文件上传。测试上传需要连接tracker服务器,连接storage服务器。因此需要指定一个配置文件:client.conf配置文件,通过Client.conf连接tracker服务器。

修改/etc/fdfs下client.conf

  

base_path=/home/logs/client (日志目录)

tracker_server=192.168.2.231:  (tracker端口)

测试命令

/usr/bin/fdfs_test /etc/fdfs/client.conf upload anti-steal.jpg

如下图返回地址则成功

linux搭建FastDFS文件服务器

8.安装Nginx。

安装Nginx所需的其他环境,gcc在上面装过了。本人安装没走这一步

#gcc安装
yum install gcc-c++ #PCRE pcre-devel 安装
yum install -y pcre pcre-devel # zlib 安装
yum install -y zlib zlib-devel #OpenSSL 安装
yum install -y openssl openssl-devel

解压、编译、安装。

tar -zxvf nginx-1.12.1.tar.gz
cd nginx-1.12.1
./configure
make
make install

9.安装fastdfs-nginx-module

首先解压fastdfs-nginx-module_v1.16.tar.gz,修改/fastdfs-nginx-module/src/config文件。去掉所有的local(三个)

linux搭建FastDFS文件服务器

拷贝usr/lib64目录下库文件libfdfsclient.so

cp /usr/lib64/libfdfsclient.so /usr/lib 

在nginx安装目录下执行如下命令:把module添加nginx中。通过设置安装参数方式添加模块。

cd nginx-1.12.
./configure --add-module=../fastdfs-nginx-module/src

注意:我这里nginx-1.12.1和fastdfs-nginx-module在同一级目录,所以这样写

linux搭建FastDFS文件服务器

重新安装编译

make && make install

查看Nginx的模块

/usr/local/nginx/sbin/nginx -V

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录, 并修改

cd fastdfs-nginx-module/src
cp mod_fastdfs.conf /etc/fdfs/

进入/etc/fdfs/修改mod_fastdfs.conf如下配置,其他默认

# 连接超时时间
connect_timeout= # Tracker Server
tracker_server=192.168.2.231: # StorageServer 默认端口
storage_server_port= # 如果文件ID的uri中包含/group**,则要设置为true
url_have_group_name = true # Storage 配置的store_path0路径,必须和storage.conf中的一致
store_path0=/home/data/storage # the base path to store log files
base_path=/home/logs/storage

配置iNginx ,进入/usr/local/nginx/conf目录下修改nginx.conf

注意:无论你在哪解压安装的。必须进这个目录/usr/local/nginx/conf下修改nginx.conf

vim nginx.conf
修改配置,其它的默认
在80端口下添加fastdfs-nginx模块 location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
注意下面#user  nobody;改成 #user  root;
#user  nobody;
worker_processes ; #error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info; #pid logs/nginx.pid; events {
worker_connections ;
} http {
include mime.types;
default_type application/octet-stream; #log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"'; #access_log logs/access.log main; sendfile on;
#tcp_nopush on; #keepalive_timeout ;
keepalive_timeout ; #gzip on; server {
listen ;
server_name 192.168.2.231;
location ~/group([-])/M00 {
ngx_fastdfs_module;
}
#charset koi8-r; #access_log logs/host.access.log main; location / {
root html;
index index.html index.htm;
} #error_page /.html; # redirect server error pages to the static page /50x.html
#
error_page /50x.html;
location = /50x.html {
root html;
} # proxy the PHP scripts to Apache listening on 127.0.0.1:
#
#location ~ \.php$ {
# proxy_pass http://127.0.0.1;
#} # pass the PHP scripts to FastCGI server listening on 127.0.0.1:
#
#location ~ \.php$ {
# root html;
# fastcgi_pass 127.0.0.1:;
# fastcgi_index index.php;
# fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
# include fastcgi_params;
#} # deny access to .htaccess files, if Apache's document root
# concurs with nginx's one
#
#location ~ /\.ht {
# deny all;
#}
} # another virtual host using mix of IP-, name-, and port-based configuration
#
#server {
# listen ;
# listen somename:;
# server_name somename alias another.alias; # location / {
# root html;
# index index.html index.htm;
# }
#} # HTTPS server
#
#server {
# listen ssl;
# server_name localhost; # ssl_certificate cert.pem;
# ssl_certificate_key cert.key; # ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m; # ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on; # location / {
# root html;
# index index.html index.htm;
# }
#} }
注意:
  listen 80 端口值是要与 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改成80了)相对应。如果改成其它端口,则需要统一,同时在防火墙中打开该端口。   location 的配置,如果有多个group则配置location ~/group([0-9])/M00 ,没有则不用配group。 在文件存储目录下创建软连接,将其链接到实际存放数据的目录,注意这个文件存储的位置后面多个data目录是系统自动生成的
ln -s /home/data/storage/data /home/data/storage/data/M00
 

启动nginx

#启动nginx
cd /usr/local/nginx/sbin/
./nginx 直接启动
/usr/local/nginx/sbin/nginx #设置开机启动
vim /etc/rc.local
/usr/local/nginx/sbin/nginx # 设置执行权限
chmod rc.local
查看Nginx是否启动
ps -ef | grep nginx

OK记得云服务的安全组 和防火墙设置需要方通 80、22122、 23000 这个不会的请参考腾讯云服务器tomcat端口无法访问 中的防火墙设置
在地址栏中访问成功 http://192.175.231.128/group1/M00/00/00/rBAACVzBeU2AQBKJAAOHDqS1H9o350.jpg

linux搭建FastDFS文件服务器

报错!不存在的。有问题110,120,119

注意:
1.group2同组的Storage2和Storage3 FastDFS服务端口必须一致: port=23000。

2.一台服务器可以装多个组(group)但不能装同组的多个Storage,日志会报错误,日志报错原因是"注意1"

3.Version 4.05之前fastdfs内部绑定了libevent作为http服务器.Version 4.05之后的版本删除了内置的web http服务,内置的web http服务是个累赘,不用也罢!

4.启动storage server时,一直处于僵死状态.启动storage server,storage将连接tracker server,如果连不上,将一直重试。直到连接成功,启动才算真正完成!如果集群中有2台tracker server,而

其中一台tracker没有启动,可能会导致storage server一直处于僵死状态。

														
		

linux搭建FastDFS文件服务器的更多相关文章

  1. Linux搭建tomcat文件服务器

    Linux搭建tomcat文件服务器 Linux下配置Tomcat服务器和Windows下其实差不多,可以去官网下载安装包释放或者在线下载,只是当时下载的windows.zip文件,现在下载.tar. ...

  2. Linux - 搭建FastDFS分布式文件系统

    1. FastDFS简介 说明:FastDFS简介部分的理论知识全部来自于博主bojiangzhou的 <用FastDFS一步步搭建文件管理系统>,在此感谢博主的无私分享.当然最最要感谢的 ...

  3. 搭建fastdfs文件服务器

    一.安装FastDFS环境 1.跟踪服务器(Tracker Server) tracker1:192.168.2.134 tracker2:192.168.2.135 2.存储服务器(Storage ...

  4. Linux 搭建NFS文件服务器实现文件共享

    我们接着玩Linux,O(∩_∩)O哈哈~ 1.什么是nfs NFS(Network File System)即网络文件系统,是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间通过TCP ...

  5. 阿里云centos6&period;9搭建fastDFS文件服务器

    准备压缩包: 1.fastdfs-nginx-module_v1.16.tar.gz 2.FastDFS_v5.05.tar.gz 3.libfastcommonV1.0.7.tar.gz 4.ngi ...

  6. 安装配置fastDFS文件服务器 - Linux

    一.配置linux环境 1.新建虚拟机 把上次安装的CentOS7的文件复制一份,并改名 打开VM>打开虚拟机,选择刚才复制好的虚拟机,并启动.这样做的目的主要是为了保留一份最基础的母本,为了将 ...

  7. linux搭建简易版本的FastDFS服务器

    开发环境:centos7环境 搭建FastDFS集群搭建非常复杂,对于初期学习FastDFS来说,搭建个单机版的作为入门更为实际一些. 首先感谢“在京奋斗者“”博主的详细搭建过程,附上博客地址http ...

  8. 为fastdfs文件服务器新增一个storage

    一.前言: 前期,已经搭建好了一套fastdfs文件服务器,一个tracker和一个storage,且部署在同一台服务器上,已经正式投入运行快半年了,1T的空间现在只剩下100G容量了,现在需要扩容, ...

  9. Linux 安装FastDFS&lt&semi;准备&gt&semi;&lpar;使用Mac远程访问&rpar;

    阅读本文需要一定的Linux基础 一 FastDFS简介 fastdfs是用c语言编写的一款开源分布式文件系统, fastdfs为互联网量身定制, 充分考虑了冗余备份, 负载均衡, 线性扩容等机制, ...

随机推荐

  1. IE的if条件Hack(兼容性)

    1. 〈!--[if !IE]〉〈!--〉 除IE外都可识别 〈!--〈![endif]--〉 2. 〈!--[if IE]〉 所有的IE可识别〈![endif]--〉 3. 〈!--[if IE 5 ...

  2. &period;NET程序编译和运行

    一次面试的时候遇到的一道题目,简要说明.NET的编译过程,在网上看了很多资料,简单总结如下: 1.一般的编译过程 通常高级语言的程序编译过程是:首先写好的程序是源代码,然后编译器编译为本地机器语言,最 ...

  3. 嵌入式Qt4&period;7&period;1安装详解

    嵌入式Qt 4.7.1安装移植过程详解环境:Ubuntu 12.04VMware 9.0 qt软件包:qt-everywhere-opensource-src-4.7.1.tar.gz (飞凌自带) ...

  4. error C2143&colon; 语法错误 &colon; 缺少&OpenCurlyDoubleQuote;&semi;”&lpar;在&OpenCurlyDoubleQuote;using”的前面&rpar;

    class JJMenuScene : public cocos2d::CCLayer { public: // Here's a difference. Method 'init' in cocos ...

  5. 大数据系列修炼-Scala课程06

    关于Scala中的正则表达式与模式匹配结合的正则表达式Reg 正则表达式的实现:正则表达式的定义与其它语言差不多,只需在表达式后加一个.r,并且可以遍历相应的表达式进行匹配 //定义的正则表达式 va ...

  6. netty4&period;x 传输文件

    一:简介 netty传输文件的例子并不多,当前的项目刚才需要使用netty,所以就记录一下使用方法,使用netty传输文件,首先需要启动一个服务端,等待服务端请求监听,然后传输文件的时候,启动一个客户 ...

  7. Python3 决策树

    # -*- coding: utf-8 -*-"""Created on Fri Dec 29 10:18:04 2017 @author: markli"&q ...

  8. SSIS 中将csv 文件批量导出到excel 文件,并设置excel 文件中某些列的data column format 为Text

    csv 文件是文本文件类型,但是打开csv 文件后(默认使用本地已经安装的excel 来打开excel 文件),默认显示出来的是general 类型(column data format)的数据, 这 ...

  9. IFS简单说明

    bash&shell系列文章:http://www.cnblogs.com/f-ck-need-u/p/7048359.html bash下的很多命令都会分割单词,绝大多数时候默认是采用空格作 ...

  10. CSS中的伪类与伪元素

    在前端开发中,大家或多或少的有接触过CSS伪类和伪元素,使用伪元素的时候,总感觉和伪类很相似,但又不能详细的说出两者的区别和联系,那么两者到底有什么区别和联系呢? 在 W3C 中定义: 伪类:用于向某 ...