dremio 23 版本反射加速问题

问题描述

实际上这个问题社区也有不少人反馈了，以前看社区问题的时候没太注意，最近有一个网友也问了类似的问题，在测试了之后发现的确是有问题

参考思路

此问题实际上影响还是比较大的，官方的一些答复是推荐可以配置日志，看看反射执行的流程
目前此问题似乎是查询优化器在处理物化视图的问题，目前还在分析中(大家也可以通过jdwp 协议调试)
日志参考配置

 

<appender name="acceleration" class="ch.qos.logback.core.rolling.RollingFileAppender">

  <file>${dremio.log.path}/acceleration.log</file>

  <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">

    <fileNamePattern>${dremio.log.path}/archive/acceleration.%d{yyyy-MM-dd}.log.gz</fileNamePattern>

    <maxHistory>30</maxHistory>

  </rollingPolicy>

  <encoder>

    <pattern>%date{ISO8601} [%thread] %-5level %logger{36} - %msg%n</pattern>

  </encoder>

</appender>

 

<logger name="com.dremio.exec.planner.acceleration" additivity="false">

    <level value="debug" />

    <appender-ref ref="acceleration" />

</logger>

<logger name="com.dremio.reflection.bup" additivity="false">

  <level value="debug" />

  <appender-ref ref="acceleration" />

</logger>

<logger name="com.dremio.reflection.ReflectionTracer" additivity="false">

  <level value="debug" />

  <appender-ref ref="acceleration" />

</logger>

说明

dremio 23 之前的版本都是没问题的，所以如果生产使用注意版本的选择，暂时先别使用23 版本的

参考资料

https://docs.dremio.com/software/release-notes/230-release/
https://community.dremio.com/t/raw-reflection-not-used-to-accelerate-select-star-query/10001/2
https://community.dremio.com/t/dremio-23-not-match-any-reflections-with-minios3/9982
https://docs.dremio.com/software/acceleration/reflections/