Docker下打包FastDFS镜像以及上传遇到的问题
官方地址：https://github.com/happyfish100/fastdfs
一、先下载个包，然后解压（自己找个目录下载即可）
[root@localhost soft]# wget https://github.com/happyfish100/fastdfs/archive/master.zip --2019-09-16 05:26:36-- https://github.com/happyfish100/fastdfs/archive/master.zip Resolving github.com (github.com)... 13.250.177.223 Connecting to github.com (github.com)|13.250.177.223|:443... connected. HTTP request sent, awaiting response... 302 Found Location: https://codeload.github.com/happyfish100/fastdfs/zip/master [following] --2019-09-16 05:26:37-- https://codeload.github.com/happyfish100/fastdfs/zip/master Resolving codeload.github.com (codeload.github.com)... 13.229.189.0 Connecting to codeload.github.com (codeload.github.com)|13.229.189.0|:443... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [application/zip] Saving to: ‘master.zip’ [ <=> ] 482,045 645KB/s in 0.7s 2019-09-16 05:26:38 (645 KB/s) - ‘master.zip’ saved [482045] [root@localhost soft]# unzip master.zip Archive: master.zip 14edb44071b27599a5fc8c818b643eed6fe15e11 creating: fastdfs-master/
....
二、进入fastdfs-master/docker/dockerfile_network目录，执行打包命令
[root@localhost soft]# cd fastdfs-master/docker/dockerfile_network
[root@localhost dockerfile_network]#
打包（注意，你的宿主机内存至少要2G，不然会报错如下：）我之前只分配给宿主机1G内存，明显不够用。
如果还不行，清理一下yum缓存
# yum clean all Loaded plugins: fastestmirror, langpacks Cleaning repos: base docker-ce-stable extras updates Cleaning up everything Maybe you want: rm -rf /var/cache/yum, to also free up space taken by orphaned data from disabled or removed repos # rm -rf /var/cache/yum
好，执行命令打包：（注意最后有个点）
[root@localhost dockerfile_network]# docker build -t local/fastdfs:latest . Sending build context to Docker daemon 68.1kB Step 1/13 : FROM centos ---> 67fa590cfc1c Step 2/13 : ADD conf/client.conf /etc/fdfs/ ---> Using cache ---> f6d4d01d7cf4 Step 3/13 : ADD conf/http.conf /etc/fdfs/ ---> Using cache ---> 09b5d6e42010 Step 4/13 : ADD conf/mime.types /etc/fdfs/ ---> Using cache ---> 01ba930f4e2a Step 5/13 : ADD conf/storage.conf /etc/fdfs/ ---> Using cache ---> 628d5f17543d Step 6/13 : ADD conf/tracker.conf /etc/fdfs/ ---> Using cache ---> b62b681c8ee8 Step 7/13 : ADD fastdfs.sh /home ---> Using cache ---> 6f0ffb43c5fc Step 8/13 : ADD conf/nginx.conf /etc/fdfs/ ---> Using cache ---> 6e2dded720b5 Step 9/13 : ADD conf/mod_fastdfs.conf /etc/fdfs ---> Using cache ---> 6feff4c6bb23 Step 10/13 : RUN yum install git gcc gcc-c ++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y && cd /usr/local/src && git clone https://github.com/happyfish100/libfastcommon.git --depth 1 && git clone https://github.com/happyfish100/fastdfs.git --depth 1 && git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1 && wget http://nginx.org/download/nginx-1.15.4.tar.gz && tar -zxvf nginx-1.15.4.tar.gz && mkdir /home/dfs && cd /usr/local/src/ && cd libfastcommon/ && ./make.sh && ./make.sh install && cd ../ && cd fastdfs/ && ./make.sh && ./make.sh install && cd ../ && cd nginx-1.15.4/ && ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ && make && make install && chmod +x /home/fastdfs.sh ---> Using cache ---> 59424d66e1a1 Step 11/13 : VOLUME /etc/fdfs ---> Using cache ---> d72d68fd5ebf Step 12/13 : EXPOSE 22122 23000 8888 80 ---> Using cache ---> f0c2d84a954e Step 13/13 : ENTRYPOINT ["/home/fastdfs.sh"] ---> Using cache ---> fc76c652493b Successfully built fc76c652493b Successfully tagged local/fastdfs:latest
（额，这是我第二次打包，我第一次打包输出好多内容的，你们自行体会，你们应该能看见 ---> Using cache 利用了缓存）
另：网友打包把体积缩小到30M左右，需要修改Dockerfile成如下所示，打包过程不变如上所示（https://github.com/happyfish100/fastdfs/issues/327）
FROM alpine:3.10 RUN set -x \ && echo "http://mirrors.aliyun.com/alpine/latest-stable/main/" > /etc/apk/repositories \ && echo "http://mirrors.aliyun.com/alpine/latest-stable/community/" >> /etc/apk/repositories \ && apk update \ && apk add --no-cache --virtual .build-deps gcc libc-dev make perl-dev openssl-dev pcre-dev zlib-dev git \ && mkdir -p /usr/local/src \ && cd /usr/local/src \ && git clone https://github.com/happyfish100/libfastcommon.git --depth 1 \ && git clone https://github.com/happyfish100/fastdfs.git --depth 1 \ && git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1 \ && wget http://nginx.org/download/nginx-1.15.4.tar.gz \ && tar -xf nginx-1.15.4.tar.gz \ && cd /usr/local/src/libfastcommon \ && ./make.sh \ && ./make.sh install \ && cd /usr/local/src/fastdfs/ \ && ./make.sh \ && ./make.sh install \ && cd /usr/local/src/nginx-1.15.4/ \ && ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ \ && make && make install \ && apk del .build-deps \ && apk add --no-cache pcre-dev bash \ && mkdir -p /home/dfs \ && mv /usr/local/src/fastdfs/docker/dockerfile_network/fastdfs.sh /home \ && mv /usr/local/src/fastdfs/docker/dockerfile_network/conf/* /etc/fdfs \ && chmod +x /home/fastdfs.sh \ && rm -rf /usr/local/src* VOLUME /home/dfs EXPOSE 22122 23000 8888 8080 CMD ["/home/fastdfs.sh"]
测试上传
这里面有个坑。先启动镜像
docker run -d -e FASTDFS_IPADDR=[宿主机地址] -p 8888:8888 -p 22122:22122 -p 23000:23000 -p 8011:80 --name test-fast local/fastdfs
然后客户端上传，报错。com.github.tobato.fastdfs.exception.FdfsConnectException: 无法获取服务端连接资源：can't create connection to/172.17.0.1:23000
为什么呢，首先我们客户端连接提供了tracker的地址，这个地址可以访问的，已经将22122端口映射到宿主机上了，而客户端的storage地址是通过tracker获取的，而这个地址则是Docker的容器地址，不能直接访问，所以连接超时。
进入容器能看到storage的地址如下：
你查看容器信息：
$ docker inspect 437c7bde65f8
在最后有地址信息，可见网关地址和实际地址
也就是说，tracker把Docker容器的网关地址当成了storage的地址
思考过程
网上有人说，利用iptables配置转发规则即可，可是我按照它的方法没有成功，那么根据转发这个思路分析一下。
目前我的环境大概是这样的
首先，Java客户端根据获取的storage地址（172.17.0.1:23000）去请求，到底能不能经过网段192.*的虚拟机，我们知道路由表的概念：（引用网友通俗的解释）
路由表是机器使用网络时要查找的一个表项，根据路由表来查找发送到特定IP的信息该发送到那个下一跳。
比如你的机子要发送一个信息到192.168.2.8，它就要查路由表到底应该怎么发，假设它查出的结果是可以直接发送，那就直接发送，否则就查出来应该发送到哪个IP，交给那个IP转发。
那么我们看一下我本机的路由表，执行： route print -4 【-6代表IPv6，不加打印全部】
我在搜索一下172的
没有，证明什么，凭借172*的地址，我哪也去不了，所以不会到达虚拟机，到达不了虚拟机，网上说的转发是转发什么呢？所以根本行不通吧。
我们再来看我虚拟机上的路由表
没错，存在172的网段，但是，你要玩172，也要先进入虚拟机才行。而Java客户端是直接去请求172地址的，那就别想了。哪也去不了。
=====================================================================================================
以下是我查阅的资料：
关于Docker网络：https://docs.docker.com/network/
Docker网络模式：https://www.cnblogs.com/yy-cxd/p/6553624.html
iptables的介绍：http://www.zsythink.net/archives/1199
iptables简单增删查改：https://www.cnblogs.com/bethal/p/5806525.html
路由表：https://www.cnblogs.com/baiduboy/p/7278715.html
路由寻址过程：https://blog.csdn.net/u011857683/article/details/83795279
后记：仔细想一下，如果你分开容器部署可能也会出现同样的问题，问题就在于我们无法为storage强制配一个地址，这样的结果在Docker环境下就成了：tracker获取到的storage地址永远都是容器网关地址，而不是映射外网地址。
也有个网友这样想的，但需要修改代码：
另外我也明白了那个iptables网友的思路：他觉得是因为在请求tracker，tracker返回storage地址的时候去修改（将返回的172.17.0.1:23000修改为宿主机地址），可是我没有成功。
最后一种方法，就是使用host网络模式，这样就不存在二层网络了，妈妈再也不用担心地址错误了。
[root@localhost admin]# docker run -d -e FASTDFS_IPADDR=192.168.192.128 --name test-fast --net=host local/fastdfs-2 047250f19cad90af03ae979e8a646fff61349883f7ecdb38f72d063bd93e3f80 [root@localhost admin]#
然后客户端上传文件
<dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> <version>1.26.6</version> </dependency>
application.properties
#连接时间 fdfs.connect-timeout=600 #读取时间 fdfs.so-timeout=2000 #缩略图 fdfs.thumb-image.width=96 fdfs.thumb-image.height=128 #tracker列表 fdfs.tracker-list=192.168.192.128:22122 # 自定义属性，图片访问地址 img.host=http://192.168.192.128:8888/
工具类
import com.alibaba.fastjson.JSONObject; import com.github.tobato.fastdfs.domain.fdfs.StorePath; import com.github.tobato.fastdfs.domain.fdfs.ThumbImageConfig; import com.github.tobato.fastdfs.domain.upload.FastFile; import com.github.tobato.fastdfs.service.FastFileStorageClient; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Value; import org.springframework.stereotype.Component; import java.io.InputStream; import java.util.HashMap; import java.util.HashSet; import java.util.Map; /** * 不会出现网上说的jmx重复注册bean的问题，是FastDFS-Client 1.26.4版本以前引入方式 */ @Component @Slf4j public class UploadToFastDFS { @Autowired protected FastFileStorageClient storageClient; @Autowired private ThumbImageConfig thumbImageConfig; @Value("${img.host}") private String imgHost; /** * 上传文件并生成缩略图 * @param inputStream * @param fileSize * @param fileExtName * @return */ public Map<String, String> uploadFile(InputStream inputStream, Long fileSize, String fileExtName){ Map<String, String> map = new HashMap<>(); log.info("##上传文件..."); FastFile fastFile = new FastFile.Builder() .withFile(inputStream, fileSize, fileExtName) .build(); // 上传文件 StorePath storePath = storageClient.uploadImageAndCrtThumbImage(inputStream, fileSize, fileExtName, new HashSet<>()); log.info("上传文件结果...{}", storePath); // 带分组的路径 String fullPath = storePath.getFullPath(); log.info("带分组的路径...{}", fullPath); String path = storePath.getPath(); log.info("路径...{}", path); // 获取缩略图路径 String thumbImagePath = thumbImageConfig.getThumbImagePath(storePath.getPath()); log.info("缩略图路径...{}", thumbImagePath); map.put("fullPath", imgHost + fullPath); map.put("thumbImagePath", imgHost + storePath.getGroup() + "/" + thumbImagePath); log.info("返回结果：{}" + JSONObject.toJSONString(map)); // 返回结果：{}{"fullPath":"http://192.168.192.128:8888/group1/M00/00/00/wKjAgF2C7aqAcJNzAAFRSnsPpGY738.png","thumbImagePath":"http://192.168.192.128:8888/group1/M00/00/00/wKjAgF2C7aqAcJNzAAFRSnsPpGY738_96x128.png"} return map; } }
测试类
@Autowired private UploadToFastDFS uploadToFastDFS; @Test public void contextLoads() throws IOException { FileInputStream in = new FileInputStream("3d4cdbb229559df79d93a30e27f8d521.png"); uploadToFastDFS.uploadFile(in, in.getChannel().size(), "png"); }
浏览器访问
http://192.168.192.128:8888/group1/M00/00/00/wKjAgF2C4zaAEFIXAAFRSnsPpGY325.png
