抛砖系列之git仓库拆分工具git-filter-repo

最近负责把团队内的git仓库做了一次分拆，解锁一个好用的工具git-filter-repo，给大伙抛砖一波，希望以后遇到类似场景时可以信手拈来。

背景

笔者团队目前是把业务相关的java项目都放到了一个git仓库中，发展初期项目较少放到一块图的就是一个方便，但是几年下来随着项目、人员、玩法等多了以后逐渐显现出一些问题，主要痛点有以下：
1.效率：更新代码缓慢，会下载很多我不关心的内容，既影响开发效率也影响jenkins打包的效率；
2.冲突：合并代码冲突率显著增高，而且一旦冲突往往很难解决，兄弟们苦不堪言，代码合并相互推诿；
3.权限：需要遵循最小范围、按需授权等原则最大限度保证代码不外泄，现有的“大锅饭”模式显然不满足。

期望

拆分以后每个项目一个git仓库，需要保留历史提交记录，方便以后回溯。

 

 为了说明问题，上图是我以交易业务域为场景假想了一个简化版仓库，trade仓库下涵盖了三个java项目，分别是discount、order、paygate，拆分以后会变成discount、order、paygate三个仓库。

第一次尝试

我初次拿到这个任务的时候想，这个很简单啊，把trade复制三份然后分别改名为trade-order、trade-paygate、trade-discount，并把多余的删除，看起来像这样： 

 

 

 

 

仓库拆分第一步似乎已经完成，接下来看看历史记录有没有丢失：

1.单个文件提交历史是否完整—右键order_readme.txt->git->show history（idea集成的查看文件git历史功能），很完整，没有问题。

 

 

2.新仓库提交历史是否完整—右键trade-order->git->show history，初看没什么问题，再看似乎不够完美，trade-order包含了拆分之前所有的提交历史，虽然不影响使用，但提交历史多了同样影响效率，必须再优化一波。

 

 

 

第二次尝试

第一次拆分之后的trade-order之所以包含所有提交历史是因为我选择的拆分策略是将原来的仓库复制出来然后删除多余的项目，对于提交历史并没有特殊处理，git的提交历史在.git目录下，真实的仓库.git目录接近900兆，这次的目标是将多余的提交历史剔除，靠人工剔除不现实，需要寻觅一款趁手的工具来行使清道夫的职责。

 

网络上对于git仓库拆分大致有三类工具，分别是subtree、filter-branch、filter-repo，filter-repo虽属后起之秀，似乎有取而代之前二者的趋势，同时前二者也有不少的追捧着，一时间不好抉择。

 

机缘巧合下看到了github官方的一篇文章https://docs.github.com/cn/get-started/using-git/splitting-a-subfolder-out-into-a-new-repository，里面提到的拆分工具也是filter-repo，我也就选择跟风一次，毕竟只是临时用到的一个工具，没必要花太多时间去选型，走不通了立马切换都来得及，毕竟试错的成本很低，这里顺便啰嗦一句，如果是一个技术框架、中间件的选型可不能这么草率，不能简单的说大厂都用了我们就用，还是要结合实际情况去斟酌，比如公司技术栈、团队人员配比、运维熟悉度等多纬度综合考虑，毕竟是要长期运行且替换的代价巨大。

 

关于git-filter-repo的下载安装请前往推荐阅读2中的地址自行获取，这里就不啰嗦，下面我们直接开始。

1.打开 Git Bash

2.克隆要拆分的仓库

git clone https://xxx/trade

3.将当前工作目录更改为您克隆的仓库

cd trade

4.要从仓库中的其余文件过滤出该子文件夹，请运行 git filter-repo，提供以下信息：

--path FOLDER-NAME：项目中您要从其创建单独仓库的文件夹。

git filter-repo --path order/

5.将仓库改名为trade-order

现在，该仓库应仅包含order目录下的内容。

 

验证下提交历史：

1.单文件提交历史没有问题，如下图

 

 2.仓库整体提交历史没有问题，只包含order目录下文件的提交历史，没有把其他的带过来，如下图

 

 这次应该是稳了，我跟同事炫耀我的劳动成果，迫切的希望得到他们的赞许，结果换来的却是另一个新问题：“这个结构是不是能优化下，现在仓库是两级trade-order/order，能不能只保留order这一级。”

第三次尝试

虽然上面的“trade-order/order“看起来也能用，但是多一级无用目录的确有点丑陋，而且会徒增新同学的困惑，说干就干，继续优化。

 

使用--subdirectory-filter指令保留order/下内容并将order提升为根目录

 git filter-repo --subdirectory-filter order/ 

现在目录变成了下面这样

trade-order/

    .git/


    doc/


       order_readme.txt

最后只需要将trade-order改名为order即可大工告成，提交历史也完整的保留了下来。

 

 

 

推荐阅读

1.https://docs.github.com/cn/get-started/using-git/splitting-a-subfolder-out-into-a-new-repository

2.https://github.com/newren/git-filter-repo

3.https://htmlpreview.github.io/?https://github.com/newren/git-filter-repo/blob/docs/html/git-filter-repo.html#EXAMPLES

 

文中只是提及了git-filter-repo的部分指令，更多有意思的玩法请前往推荐阅读3中的EXAMPLES自行解锁。

 

最后献图一张，下雨天拍到一只出来放风的小蜗牛