dremio tar 模式安装
软件包准备
可以从官方文档下载
准备
主要是关于运行账户,推荐创建一个独立的账户
配置
主要是关于服务配置+内存配置+编码配置
- dremio 配置
conf 目录的文件,推荐基于软链接的模式
参考
sudo ln -s /opt/dremio/conf /etc/dremio
数据目录
推荐配置独立的目录,可以在配置文件配置
内存配置:
主要是dremio运行需要的内存配置,包含了heap 以及直接内存
这个需要结合自己的服务类别进行配置(协调节点以及执行节点)
服务管理
使用systemd
sudo cp <DREMIO_HOME>/share/dremio.service /etc/systemd/system/dremio.service
同时比较推荐修改下numa配置,如果使用numa的话
参考为
ExecStart=/usr/bin/numactl --interleave=all /opt/dremio/bin/dremio start-fg
补丁
主要是解决关于中文乱码的一些问题,包含了calcite 的以及mssql 还有mysql 的
查询过滤乱码的问题,dremio-env
DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE"
mssql 链接扩展
拷贝jar包即可
参考:https://github.com/rongfengliang/my-dremio-mssql-connector
mysql 低版本链接乱码问题
具体要看官方版本依赖的mariadb 了,对于2.4 之前的中文肯定是有问题的,推荐替换为最新版本的
参考:
升级
官方提供的工具还是比较方便的,直接可以使用,方便进行master kv storage 的数据更新,具体可以参考官方文档
参考资料
https://docs.dremio.com/deployment/standalone/standalone-tarball.html
https://www.cnblogs.com/rongfengliang/p/14438381.html
https://www.cnblogs.com/rongfengliang/p/14440533.html
https://github.com/rongfengliang/my-dremio-mssql-connector
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
2020-02-24 postgres elasticsearch fdw 学习
2020-02-24 使用vcpkg 管理c&&c++ 包
2020-02-24 postgres pg_cron 扩展连接远程pg server
2020-02-24 hasura graphql-engine v1.1.0 发布了
2020-02-24 使用 cstore fdw 加速hasura graphql-engine的查询
2020-02-24 pgspider cstore fdw docker 镜像试用
2019-02-24 Optimizing Docker Images for Rust Projects