dremio 文件系统支持view创建&一些问题
实际上如果了解apache drill 会知道drill 是支持在本地活着分布式创建view，实际上dremio 也是可以支持的，但是
此玩法不太符合官方的设计思想，给禁用了
FileSystemPlugin check 处理
- 参考代码
public boolean createOrUpdateView(NamespaceKey tableSchemaPath,
SchemaConfig schemaConfig,
View view,
ViewOptions viewOptions) throws IOException {
// 哪怕配置了LEGACY_STORE_VIEWS_ENABLED
// 添加legacy.dremio.store.views.enabled 又会触发dremio 配置的一个check 处理
// 而且web 页面直接对于文件系统的view 存储进行了过滤,对于支持创建的只能使用系统用户$dremio$
if (!Boolean.getBoolean(DremioConfig.LEGACY_STORE_VIEWS_ENABLED)) {
throw UserException.parseError()
.message("Unable to create or update view. Filesystem views are not supported.")
.build(logger);
} else if (!getMutability().hasMutationCapability(MutationType.VIEW, schemaConfig.isSystemUser())) {
throw UserException.parseError()
.message("Unable to create or update view. Schema [%s] is immutable for this user.", tableSchemaPath.getParent())
.build(logger);
}
Path viewPath = getViewPath(tableSchemaPath.getPathComponents());
FileSystem fs = createFS(schemaConfig.getUserName());
boolean replaced = fs.exists(viewPath);
final Set<PosixFilePermission> viewPerms =
MorePosixFilePermissions.fromOctalMode(schemaConfig.getOption(ExecConstants.NEW_VIEW_DEFAULT_PERMS_KEY).getStringVal());
try (OutputStream stream = FileSystemUtils.create(fs, viewPath, viewPerms)) {
lpPersistance.getMapper().writeValue(stream, view);
}
return replaced;
}
dremio 配置check配置
- 参考代码
private void check(){
// 会基于inner 配置进行reference 的check 确保不会配置多余的配置
final Config inner = getInnerConfig();
final Config ref = reference.resolve();
// make sure types are right
inner.checkValid(ref);
// make sure we don't have any extra paths. these are typically typos.
List<String> invalidPaths = new ArrayList<>();
for(Entry<String, ConfigValue> entry : inner.entrySet()){
if (DEPRECATED_PATHS.contains(entry.getKey())) {
logger.warn("Property [{}] is deprecated. Please remove it from the conf file [dremio.conf].", entry.getKey());
continue;
}
if(!ref.hasPath(entry.getKey())){
invalidPaths.add(entry.getKey());
}
}
if(!invalidPaths.isEmpty()){
StringBuilder sb = new StringBuilder();
sb.append("Failure reading configuration file. The following properties were invalid:\n");
for(String s : invalidPaths){
sb.append("\t");
sb.append(s);
sb.append("\n");
}
throw new RuntimeException(sb.toString());
}
}
- dremio 配置的参考配置文件
位置在common/legacy/src/main/resources/dremio-reference.conf
一个include 是比较重要的，此处我们可以配置额外的信息, 这样可以确保参考配置比较多，规避check 问题
include classpath("dremio-reference-ext.conf")
paths: {
# the local path for dremio to store data.
local: "/tmp/dremio",
common/legacy/src/main/resources/dremio-reference.conf
解决方法，就是添加一个dremio-reference-ext.conf文件到dremio 的conf 运行目录下，里边包含了legacy.dremio.store.views.enabled
但是因为dremio FileSystemPlugin 对于配置的处理就是有bug，而且没有直接引入DremioConfig的实例，目前是不能直接快速的
通过配置解决的，通过options 配置是实际上是一个不错的选择
说明
目前dremio 对于分布式文件系统是不支持直接进行view 的创建了，更加标准的做法是通过space 或者支持多版本的nessie catalog 服务
如果还是希望支持，就需要自己修改文件系统插件的代码了
参考资料
https://drill.apache.org/docs/create-view/
sabot/kernel/src/main/java/com/dremio/exec/store/dfs/FileSystemPlugin.java
