dremio tar 模式安装

软件包准备

可以从官方文档下载

准备

主要是关于运行账户,推荐创建一个独立的账户

配置

主要是关于服务配置+内存配置+编码配置

  • dremio 配置
    conf 目录的文件,推荐基于软链接的模式
    参考
 
sudo ln -s /opt/dremio/conf /etc/dremio

数据目录
推荐配置独立的目录,可以在配置文件配置
内存配置:
主要是dremio运行需要的内存配置,包含了heap 以及直接内存
这个需要结合自己的服务类别进行配置(协调节点以及执行节点)

服务管理

使用systemd

 
sudo cp <DREMIO_HOME>/share/dremio.service /etc/systemd/system/dremio.service

同时比较推荐修改下numa配置,如果使用numa的话
参考为

 
ExecStart=/usr/bin/numactl --interleave=all /opt/dremio/bin/dremio start-fg

补丁

主要是解决关于中文乱码的一些问题,包含了calcite 的以及mssql 还有mysql 的
查询过滤乱码的问题,dremio-env

 
DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE"

mssql 链接扩展
拷贝jar包即可
参考:https://github.com/rongfengliang/my-dremio-mssql-connector
mysql 低版本链接乱码问题
具体要看官方版本依赖的mariadb 了,对于2.4 之前的中文肯定是有问题的,推荐替换为最新版本的
参考:

升级

官方提供的工具还是比较方便的,直接可以使用,方便进行master kv storage 的数据更新,具体可以参考官方文档

参考资料

https://docs.dremio.com/deployment/standalone/standalone-tarball.html
https://www.cnblogs.com/rongfengliang/p/14438381.html
https://www.cnblogs.com/rongfengliang/p/14440533.html
https://github.com/rongfengliang/my-dremio-mssql-connector

posted on 2021-02-24 20:37  荣锋亮  阅读(238)  评论(0编辑  收藏  举报

导航