dremio 增量反射处理
我们可以基于dremio 的反射进行数据加速处理，dremio 支持全量以及增量，全量是比较简单的，dremio
直接处理完整数据(当然会基于版本以及有效期处理，不是简单的直接删除，然后使用的，不然会影响业务的)，对于增量处理就比较复杂了
增量处理策略
- 对于文件系统，可以自动标识新的文件
- 对于其他数据集（物理以及虚拟的），早期版本对于增量的是需要一个bigint的字段的，而且是自增的，之后版本也自持基于int，时间戳，时间，浮点，货币类型。。。
官方的一些建议
- 推荐对于append only 模式的数据使用增量，对于经常变动的数据，可能会造成不正常的数据，一般推荐基于全量的
- 对于包含join 的虚拟数据集是不支持增量更新的，dremio会使用全量反射的
反射队列路由
我们可以基于sql 进行反射队列路由，可以更好的控制数据的调度处理(这个是一个比较复杂的领域，需要结合实际场景优化)
参考资料
https://docs.dremio.com/software/acceleration/updating-reflections/
https://docs.dremio.com/software/sql-reference/sql-commands/queue-routing-sql/
https://docs.dremio.com/software/sql-reference/sql-commands/analyze-table/
https://docs.dremio.com/software/sql-reference/sql-commands/datasets/
