dremio tar 模式安装
软件包准备
可以从官方文档下载
准备
主要是关于运行账户,推荐创建一个独立的账户
配置
主要是关于服务配置+内存配置+编码配置
- dremio 配置
conf 目录的文件,推荐基于软链接的模式
参考
sudo ln -s /opt/dremio/conf /etc/dremio
数据目录
推荐配置独立的目录,可以在配置文件配置
内存配置:
主要是dremio运行需要的内存配置,包含了heap 以及直接内存
这个需要结合自己的服务类别进行配置(协调节点以及执行节点)
服务管理
使用systemd
sudo cp <DREMIO_HOME>/share/dremio.service /etc/systemd/system/dremio.service
同时比较推荐修改下numa配置,如果使用numa的话
参考为
ExecStart=/usr/bin/numactl --interleave=all /opt/dremio/bin/dremio start-fg
补丁
主要是解决关于中文乱码的一些问题,包含了calcite 的以及mssql 还有mysql 的
查询过滤乱码的问题,dremio-env
DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE"
mssql 链接扩展
拷贝jar包即可
参考:https://github.com/rongfengliang/my-dremio-mssql-connector
mysql 低版本链接乱码问题
具体要看官方版本依赖的mariadb 了,对于2.4 之前的中文肯定是有问题的,推荐替换为最新版本的
参考:
升级
官方提供的工具还是比较方便的,直接可以使用,方便进行master kv storage 的数据更新,具体可以参考官方文档
参考资料
https://docs.dremio.com/deployment/standalone/standalone-tarball.html
https://www.cnblogs.com/rongfengliang/p/14438381.html
https://www.cnblogs.com/rongfengliang/p/14440533.html
https://github.com/rongfengliang/my-dremio-mssql-connector