fastdfs集群安装过程_学习笔记
最终效果
初始化为6个节点
在/usr/local/software 目录下上传需要用到tar包，分别在各个节点上传
使用scp 将本地software目录复制到其他节点上
73、74为 tracker集群，其他为storage集群
其中13对应15，16
其中14对应17，18
------------------------------------------------------------------------------------------------------
一、安装软件部分，6台机器同时进行安装
1.安装 gcc ：yum install make cmake gcc gcc-c
2.安装libfastcommon 包
上传libfastcommon-master.zip到/usr/local/software下
unzip libfastcommon-master.zip -d /usr/local/fast/
cd /usr/local/fast/libfastcomon-master/ 进行安装编译
./make.sh
./make.sh install
FastDFS主程序设置的目录为/usr/local/lib/，所以我们需要创建/usr/lib64/下的一些核心执行程序的软连接文件。
mkdir /usr/local/lib
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
3.安装FastDFS系统
cd /usr/local/software 解压 FastDFS_v5.05.tar.gz 文件
cd /usr/local/software
tar -zxvf FastDFS_v5.05.tar.gz -C /usr/local/fast
解压后进行安装编译
cd /usr/local/fast/FastDFS
./make.sh
./make.sh install
fastDFS的配置文件在 /etc/fdfs/ 目录下 其中有三个文件 客户端，storaged以及tracker文件
因为FastDFS服务脚本设置的bin目录为 /usr/local/bin下，实际安装如上图在 /usr/bin下，所以修改
FastDFS配置文件中的路径，需要修改两个配置文件 /etc/init.d/fdfs_storaged 和 fdfs_trackerd文件
vim打开两个配置文件 执行 %s+/usr/local/bin+/usr/bin，其中所有节点都进行此项操作
二、进行两个 tracker 的配置 两个tracker服务器同时进行
1.进入到etc目录下的fastdfs配置文件夹中，共有三个文件
cd /etc/fdfs
2.修改tracker配置文件，修改conf文件
cp tracker.conf.sample tracker.conf
vim tracker.conf
修改属性 base_path=/fastdfs/tracker
store_lookup = 0
0 轮询上传文件
1 固定上传1个group 为 store_group 指定group
2 负载均衡上传，谁空闲大上传谁
3.启动跟踪器
mkdier -p /fastdfs/tracker 对应上面配置的 base_path
cd /fastdfs/tracker/ && ll
没有文件 total 0
/etc/init.d/fdfs_trackerd start 启动命令 / stop 停止命令
/etc/init.d/fdfs_tracker
查看进程
ps -ef | grep fdfs / netstat -tunp | grep fdfs
查看log后100行数据
tail -f n 100 /fastdfs/tracker/logs/trackerd.log
三、四台机器分别配置存储节点storaged
1.修改storage.conf文件
cd /etc/fdfs
cp storage.conf.sample storage.conf
vim storage.conf
115,116为1组 group1, 117和118为1组 group2 编辑文件内容如下：
disabled=false 启用配置文件
group_name=group1 组名 第一组group1 第二组group2
Port=23000 storage 端口号 同一个storage端口号必须相同
base_path=/fastdfs/storage 设置log存储路径
store_path_count=1 设置存储路径个数
store_path0=/fastdfs/storage 设置存储路径
tracker_server=tracker1IP:22122 tracker服务器ip地址和端口号
tracker_server=tracker2IP:22122 多个tracker直接添加多个配置
Http.server_port=8888 设置端口号 -》 nginx.conf 设置 listen 8888 对应
同步文件到其余3个storage服务器中
其中117,118服务器storage.cnf 修改group_name,其余不用修改
group_name=group2
2.创建storage存放数据目录
mkdir -p /fastdfs/storage
3.启动storage服务
启动服务: /etc/init.d/fdfs_storaged start
查看日志: tail -f /fastdfs/storage/logs/storaged.log
注意：启动服务时候先启动 173 174 tracker 跟踪器节点，然后分别启动第一组存储节点(175,176)节点，通过日志可以知道谁是leader节点，如下图：175节点log, tracker leader 是174节点，最后一句 75成功连接 76 服务同为 group1组
4.如果174 leader 节点down了，则服务自动切换成 173 为leader 节点
5.在usr/bin 下有好多命令，通过fdfs_monitor 命令监控当前storage存储状态
/usr/binfdfs_monitor /etc/fdfs/storage.conf 会显示集群所有节点信息
6.进行服务测试，通过client 服务测试
cd /etc/fastdfs/ 进行测试
cp client.conf.sample client.conf
vim client.conf 修改测试客户信息
base_path=/fastdfs/tracker
tracker_server=trackerIP1:22122
tracker_server=trackerIP2:22122
cd /usr/local
长传文件到storage上
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/software/xxxxx.file
返回 group1/M00/00/00/xxxxxxxxx.file
查看75,76文件data，都有上传文件，77，78没有文件
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/software/ssss.file
返回 group2/M00/00/00/ssss.file
查看75,76 没有文件， 77 ，78 data目录下有文件
(在 store_lookup=0 设置 轮询上传)
------------------------------------------------------fastdfs集群部署完成--------------------------------------------------------
四.fastdfs配置ngnix
（在storage节点上安装）
1.添加 fastdfs-nginx-modue模块,
cd /usr/local/software
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/fast
2.安装fastdfs-nginx-modue之前，对配置文件进行修改
cd fastdfs-nginx-module/src/
vim config
去除local文件层次 四个节点同时操作
3.四个存储节点安装nginx依赖包，安装nginx，添加fastdfs和nginx的整合模块
(1).安装nginx依赖包
yum install pcre
yum install pcre-devel
yum install zlib
yum install zlib-devel
(2).安装nginx,加入fastdfs-nginx-module
cd /usr/local/software
tar -zxvf nginx-1.6.2.tar.gz -C /usr/local
cd /usr/local/nginx-1.6.2/
./configure --add-module=/usr/local/fast/fastdfs-nginx-module/src
make && make install
(3).复制fastdfs-nginx-module中的配置文件到 /etc/fdfs 目录下
cd /usr/local/fast/fastdfs-nginx-module/src
cp mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf 修改连接超时时间。追踪器路径，url的group配置等
第一组 175 176 和 第二组 177 178 节点修改内容 只有组名称不同
[115]
connect_timeout=10
tracker_server=trackerIP1:22122
tracker_server=trackerIP2:22122
storage_server_port=23000
url_have_group_name=true
store_path0=/fastdfs/storage
group_name=group1 / group2 第一组(115 116)为group1 第二组(117 118)为 group2
group_count=2
(4).复制FastDFS中的 2 个文件到 /etc/fdfs 目录中 所有节点
cd /usr/local/fast/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
(5).创建一个软连接，在 /fastdfs/storage 文件存储目录下创建， 将其连接到实际存放数据的目录
源文件 连接文件 M00 指向 data
ln -s /fastdfs/storage/data /fastdfs/storage/data/M00
(6).配置 nginx 配置文件
cd /usr/local/nginx/conf
vim nginx.conf
访问 group [0-9] ,直接访问 M00软连接，执行 ngx_fastdfs_module模块
listen 8888为 storage http.server_port=8888 配置对应
(7).检查防火墙，启动 nginx
/usr/local/nginx/sbin/nginx 启动服务
/usr/local/nginx/sbin/nginx stop 停止服务
/usr/local/nginx/sbin/nginx -s stop 重启服务
(8).可以通过 tracler 节点 client 上传文件 然后使用http url访问图片了
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/software/xxxxxx.file
http://ClientIP:8888/group1/M00/00/00/xxxxxx.file -》ClientID 75 76 77 78
其中 75 76 数据相同 77 78 数据相同 不能跨域访问
------------------------------------------------------nginx fastdfs 整合完成--------------------------------------------------------
五.追踪器上提那家nginx，提供反向代理服务(使用一个ip向外部提供服务)
1.上传ngx_cache_purge-2.3.tar.gz 文件到 /usr/local/software 目录下
2.上传tar -zxvf ngx_cache_purge-2.3.tar.gz -C /usr/local/fast 并且进行解压
3.cd /usr/local/fast/ ll 查看目录下文件 新增缓存模块
4.配置nginx，添加nginx依赖包等
yum install pcre
yum install pcre-devel
yum install zlib
yum install zlib-devel
5.解压nginx 并且加入 ngx_cache_pureg (缓存模块)
cd /usr/local/software
tar -zxvf nginx-1.6.2.tar.gz -C /usr/local
cd /usr/local/nginx-1.6.2
添加ngx_cache_pureg模块,之前加入 fastdfs 模块
./configure --add-module=/usr/local/fast/ngx_catch_purge-2.3
make && make install
6.配置nginx 负载均衡和缓存 (173 174 节点配置一致) /usr/local/nginx/conf/nginx.conf
(1).设置缓存信息
(2).负载均衡 fdfs_group1 两个服务对应 tracker 173，fdfs_group2 对应 tracker174
(3).设定服务，对外提供统一端口 8000 ，其中 173 174 服务配置参数完全相同
服务访问 /group1/M00 则对应访问 fdfs_group1 服务 对应上面图片中 fdfs_group1 集群服务
服务访问 /group2/M00 则对应访问 fdfs_group2 服务 对应上面图片中 fdfs_group2 集群服务
(4).添加创建缓存的使用文件夹 上面 3 中配置缓存路径
mkdir -p /fastdfs/cache/nginx/proxy_cache
mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp
(5).开放8000 端口， 修改 /etc/sysconfig/iptables 文件 添加 8000端口号
service iptables restart
(6).client 上传文件 通过 8000端口进行访问
73 上传文件 /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/software/xxxxx.file
通过 tracker ip:8000 访问文件
http://192.168.1.173:8000/group1/M00/00/00/xxxxxx.file
73 代理 75 76 storage
73 上传文件 /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/software/xxxxx.file
http://192.168.1.174:8000/group2/M00/00/00/xxxxxx.file
74 代理 77 78 storage
7.在 tracker (73 74) 安装nginx后，可以对 group1 和 group2 进行访问(反向代理)，最后虚拟一个keepalived，虚拟出一个VIP对两台tracker做高可用配置
nginx + keepalived ？？？学习
修改后需要把 nginx.conf 配置文件传送到 带有 keepalived 的节点上 (114 115)
114,115 两节点代理 73 74 两节点 修改配置文件后需要重启 nginx，
/usr/local/nginx/sbin/nginx -s reload
在 73 上传文件 通过 110 （115 114 代理）进行访问
192.168.1.110/fastdfs/group1/M00/00/00/xxxx.file fastdfs 对应 上面配置 location
（可以将 173 174 结合keepalived 做出高可用 虚拟IP访问）
8.关闭集群步骤
