FastDFS部署

时间:2024-01-21 11:30:46

简介

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

环境准备

yum install -y gcc gcc-c++
yum -y install libevent

安装包准备

  • libfatscommon:FastDFS公用函数包
  • FastDFS(version 5.11):FastDFS
  • Nginx(version 1.14.2):Nginx
  • fastdfs-nginx-module:FastDFS和nginx的关联模块

这里用的函数库是zip包 unzip libfastcommon-master.zip tar包解压命令 tar -zxvf libfastcommon-xxx.tar.gz 解压后进入libfastcommon-master文件夹,然后编译和安装 ./make.sh ./make.sh install 解压FastDFS tar -zxvf fastdfs-5.11.tar.gz 进入fastdfs-5.11目录,安装fastdfs ./make.sh ./make.sh install /usr/bin中包含了可执行文件/etc/fdfs包含了配置文件 将fastdfs的配置文件复制一份到/etc/fdfs下面 cp /home/fastdfs-5.11/conf/* /etc/fdfs/

配置Tracker服务

进入到/etc/fdfs目录下面,修改tracker配置文件中的tracker工作目录,保存数据以及日志

vim tracker.conf
#/base_path 快速查找
#找到base_path修改成如下
base_path=/usr/local/fastdfs/tracker # 根据自己喜好自定义路径

创建tracker目录,需要和上面修改的路径一致

mkdir /usr/local/fastdfs/tracker -p

启动tracker服务

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start

停止tracker服务

/usr/bin/stop.sh /etc/fdfs/tracker.conf

不过安装过程中,fdfs已经被设置为系统服务,我们可以采用熟悉的服务启动方式:

service fdfs_trackerd start # 启动fdfs_trackerd服务,停止用stop

查看tracker服务是否启动

ps -ef | grep fdfs_trackerd

设置tracker服务开机自启动

chkconfig fdfs_trackerd on

配置storage服务

vim storage.conf

修改storage的工作空间

base_path=/usr/local/fastdfs/storage

修改storage的存储空间

store_path0=/usr/local/fastdfs/storage

修改tracker的地址和端口号,用于心跳

tracker_server=IP:22122

创建目录

mkdir /usr/local/fastdfs/storage -p

启动storage服务

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start

关闭storage服务

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf stop

推荐使用:

service fdfs_storaged start  # 启动fdfs_storaged服务,停止用stop

查看storage服务是否启动

ps -ef | grep fdfs_storaged

设置storage服务开机自启动

chkconfig fdfs_storaged on

测试上传 编辑client配置文件

vim client.conf

修改日志基本路径

base_path=/usr/local/fastdfs/client

tracker的ip根据实际tracker的ip地址配置 不一致会导致文件浏览失败的问题

tracker_server=ip:22122

创建目录

mkdir /usr/local/fastdfs/client

编辑测试文件

echo "Hello World!" > main.java

/usr/bin/fdfs_test /etc/fdfs/client.conf upload /etc/fdfs/main.java

存储目录(在前面配置的storage的store_path0=/usr/local/fastdfs/storage下),url为远程访问地址,这里还不能远程访问,配置了nginx模块后才能访问

解压fastdfs-nginx-master包

 unzip fastdfs-nginx-module-master.zip

进入 unzip fastdfs-nginx-module-master中的src目录下,赋值配置文件

# 进入解压包下的src目录
cd fastdfs-nginx-module-master/src/
# 复制配置文件
cp mod_fastdfs.conf /etc/fdfs

修改src目录下的config内容

ngx_addon_name=ngx_http_fastdfs_module
 
if test -n "${ngx_module_link}"; then
    ngx_module_type=HTTP
    ngx_module_name=$ngx_addon_name
    ngx_module_incs="/usr/local/include/fastdfs /usr/include/fastcommon/"
    ngx_module_libs="-lfastcommon -lfdfsclient"
    ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
    ngx_module_deps=
    CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
    . auto/module
else
    HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
    NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
    CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/include/fastcommon/"
    CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
    CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi

ngx_module_incs="/usr/local/include/fastdfs /usr/include/fastcommon/
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/include/fastcommon/

修改/etc/fdfs/目录下的mod_fastdfs配置文件

vim mod_fastdfs.conf

base_path=/usr/local/fastdfs/tmp
#tracker地址
tracker_server=trackerIP地址:22122
url_have_group_name = true
store_path0=/usr/local/fastdfs/storage

创建目录

mkdir /usr/local/fastdfs/tmp

安装Nginx Nginx 安装 Linux 系统以及反向代理的配置-成人版 注意在nginx解压完进行./configure需改为如下命令,需要增加一个fastdfs-nginx-module模块,即下面的最后一行,以实际路径为准

./configure --prefix=/usr/local/webserver/nginx --with-http_stub_status_module --with-http_ssl_module --with-pcre=/usr/local/src/pcre-8.35 --add-module=/home/fastdfs-nginx-module-master/src

nginx.conf配置

server {
    listen       8888;
    server_name  localhost;
 
    location /group1/M00 {
            ngx_fastdfs_module;
    }
 
}