minio __XLDIR__ 后缀文件夹问题

最近在通过debug 模式调试dremio 文件写入处理的时候,发现dremio 目录包含了不少__XLDIR__ 后缀的对象(里边是空的,只是后缀包含了__XLDIR__ )

参考图

问题

目前此问题minio github 上也有一些信息,理论上应该是解决了,但是我目前使用的是比较新的版本的,大致的问题应该是
网络延时比较大(在进行debug 的时候dremio 部分iceberg 表操作有异常了,造成文件清理不太正确)

解决方法

可以手工删除这类文件夹的信息(直接在数据目录下)

比较奇特的问题

假如我们手工创建了包含一个__XLDIR__ 对象路径的时候,minio 是不能直接看到的,如下(后边结合源码看看)

参考资料

https://github.com/minio/minio/issues/13111
https://github.com/minio/minio/pull/15477

posted on 2024-03-26 08:00  荣锋亮  阅读(59)  评论(0编辑  收藏  举报

导航