一、使用背景
业务驱动技术需要，原来使用 FTP和 Tomcat upload目录的缺陷日渐严重，受限于业务不断扩大，想使用自动化构建，自动化部署，Zookeeper中心化，分布式RPC DUBBO等技术时，遇到文件存储的瓶颈，因此需求一个使用分布式文件系统注入新的活力。
二、环境
参考 http://blog.****.net/hhq163/article/details/46536895 这个博主的博客安装比较新 FastDFS 版本。
在 Docker 下 使用最小化安装的 Centos6 调试完成。
需要 gcc-c++支持
三、目标
文件系统单机部署到多机部署的弹性伸缩。
四、注意
运行该脚本会检测 gcc，会运行yum去安装。
下载gz包完整度。如果不是我指定的数量则退出脚本。
主机IP需要更改，默认是172.17.0.2，请进入到脚本更改。
本脚本适合没有安装 nginx和 fastDfs的机器，请酌量。
脚本要改的变量都在脚本前面了，看着改。
五、代码
#!/bin/bash
if [ -z $(rpm -qa | grep gcc-c++) ]
then
yum install -y gcc-c++
fi
######################## user property #########################################
# 安装tracker机器的IP地址，如果部署其他tracker机器需要更改此ip
ip=172.17.0.2
# 用户路径
base_path=/usrdata/fastdfs
#指定tracker端口
tracker_port=
#nginx 端口
nginx_port=
################################################################################ #进入初始目录
cd ~
#创建数据目录
mkdir -p $base_path ############################### 、软件下载： ################################## if [ -f V1.0.7*.gz ]
then
echo ""
else
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
fi if [ -f fastdfs*module*.gz ]
then
echo ""
else
wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz
fi if [ -f V5.*.gz ]
then
echo ""
else
wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
fi if [ -f nginx-1.8.*.gz ]
then
echo ""
else
wget http://nginx.org/download/nginx-1.8.0.tar.gz
fi if [ -f pcre*.gz ]
then
echo ""
else
wget http://exim.mirror.fr/pcre/pcre-8.36.tar.gz
fi if [ -f zlib*.gz ]
then
echo ""
else
wget http://zlib.net/zlib-1.2.8.tar.gz
fi packages=`ls -l | grep 'gz$' | wc -l`
echo $packages
if [ $packages != ]
then
echo "网络错误，下载少东西了"
exit
fi
######################### 判断文件是否下载好了 end ############################### #、libfastcommon安装：
cd ~
cp V1.0.7.tar.gz /usr/local/
tar -zxvf V1.0.7.tar.gz
cd libfastcommon-1.0.
./make.sh
./make.sh install
rm -f /usr/local/V1.0.7.tar.gz #libfastcommon.so默认安装到了/usr/lib64/libfastcommon.so，而FastDFS主程序设置的lib目录是/usr/local/lib，所以设置软连接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so #、安装FastDFS:
cd ~
tar -zxvf V5..tar.gz -C /usr/local
cd /usr/local/fastdfs-5.05/ ./make.sh
./make.sh install #配置文件设置：
cd /etc/fdfs
cp tracker.conf.sample tracker.conf
cp storage.conf.sample storage.conf
cp client.conf.sample client.conf #详细设置见附件
#tracker.conf配置中要修改的几个项：
#bind_addr=172.17.0.2
#port=
#http.server_port=
sed -i "s#\(bind_addr\).*#\1=$ip#" tracker.conf
sed -i "s#\(^port\).*#\1=$tracker_port#" tracker.conf
sed -i "s#\(base_path\).*#\1=$base_path#" tracker.conf
sed -i "s#\(^http.server_port\).*#\1=8181#" tracker.conf #storage.conf配置中要修改的几个项：
#group_name=group1
#bind_addr=172.17.0.2
#port=
#base_path=/usrdata/fastdfs
#store_path0=/usrdata/fastdfs
#tracker_server=172.17.0.2:
#http.server_port=
sed -i "s#\(bind_addr\).*#\1=$ip#" storage.conf
sed -i "s#\(base_path\).*#\1=$base_path#" storage.conf
sed -i "s#\(store_path0\).*#\1=$base_path#" storage.conf
sed -i "s#\(tracker_server\).*#\1=$ip:$tracker_port#" storage.conf
sed -i "s#\(http.server_port\).*#\1=8888#" storage.conf #（）启动
#启动tracker storage.conf
fdfs_trackerd /etc/fdfs/tracker.conf
fdfs_storaged /etc/fdfs/storage.conf ##############################、安装nginx插件：#####################################
#（）安装
cd ~
tar -zxvf fastdfs-nginx-module_v1..tar.gz #（）config文件修改：
#vi config
#修改如下配置，我这里原来是
#CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
#改成
#CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
#这个是很重要的，不然在nginx编译的时候会报错的，我看网上很多在安装nginx的fastdfs的插件报错，都是这个原因，而不是版本不匹配。
cd fastdfs-nginx-module/src/
sed -i "s#\(CORE_INCS=\"\$CORE_INCS \).*#\1/usr/include/fastdfs /usr/include/fastcommon/\"#" config #修改配置
#group_name=group1
#tracker_server=172.17.0.2:
#store_path0=/usrdata/fastdfs
#base_path=/usrdata/fastdfs
#url_have_group_name = true
sed -i "s#\(group_name\).*#\1=group1#" mod_fastdfs.conf
sed -i "s#\(tracker_server\).*#\1=$ip:$tracker_port#" mod_fastdfs.conf
sed -i "s#\(store_path0\).*#\1=$base_path#" mod_fastdfs.conf
sed -i "s#\(base_path\).*#\1=$base_path#" mod_fastdfs.conf
sed -i "s#\(url_have_group_name\).*#\1=true#" mod_fastdfs.conf cp mod_fastdfs.conf /etc/fdfs #)、配置文件服务器的软连接
ln -s /usrdata/fastdfs/data /usrdata/fastdfs/data/M00
#(配置文件中stoage存放数据的路径) #同时将以下两个文件复制到/etc/fdfs/
cp /usr/local/fastdfs-5.05/conf/http.conf /etc/fdfs/
cp /usr/local/fastdfs-5.05/conf/mime.types /etc/fdfs/ #、nginx安装：
#在每个Storage服务器上安装Nginx #（）pcre安装：
cd ~
tar -zxvf pcre-8.36.tar.gz
cd pcre-8.36
./configure
make && make install
cd ../ ln -s /usr/local/lib/libpcre.so. /lib64/ #（）zlib安装：
cd ~
tar -zxvf zlib-1.2..tar.gz
cd zlib-1.2.
./configure
make && make install #（）nginx安装：
cd ~
tar -zxvf nginx-1.8..tar.gz
cd nginx-1.8.
ipath=`whoami`
./configure --prefix=/usr/local/nginx --add-module=/$ipath/fastdfs-nginx-module/src
make
make install #在server中添加
#
#location /group1/M00{
# root /usrdata/fastdfs/data;
# ngx_fastdfs_module;
#} #判断文件内容是否已经写入
nginxconf=`sed -n '/group1/p' /usr/local/nginx/conf/nginx.conf` if [ -z $nginxconf ]
then
sed -i "s@#error_page.*@location /group1/M00{root /usrdata/fastdfs/data;ngx_fastdfs_module;}@" /usr/local/nginx/conf/nginx.conf
else
echo "nothing todo"
fi &> /dev/null 启动：
kill - $(ps -A | grep nginx | cut -d "?" -f ) &> /dev/null
/usr/local/nginx/sbin/nginx 安装完成。
#、测试文件上传：
sed -i "s#\(base_path=\).*#\1$base_path#" /etc/fdfs/client.conf
sed -i "s#\(tracker_server=\).*#\1$ip:$tracker_port#" /etc/fdfs/client.conf
cd ~
echo "hello world" > .txt
#/usr/bin/fdfs_test /etc/fdfs/client.conf upload .txt
result=`/usr/bin/fdfs_test /etc/fdfs/client.conf upload .txt |grep url | grep -v big`
echo "得到类似这样的 $result"
curl ${result:}
六、成功示意图
输出 hello world 为成功。
