dremio tar 模式安装

软件包准备

可以从官方文档下载

准备

主要是关于运行账户,推荐创建一个独立的账户

配置

主要是关于服务配置+内存配置+编码配置

  • dremio 配置
    conf 目录的文件,推荐基于软链接的模式
    参考
 
sudo ln -s /opt/dremio/conf /etc/dremio

数据目录
推荐配置独立的目录,可以在配置文件配置
内存配置:
主要是dremio运行需要的内存配置,包含了heap 以及直接内存
这个需要结合自己的服务类别进行配置(协调节点以及执行节点)

服务管理

使用systemd

 
sudo cp <DREMIO_HOME>/share/dremio.service /etc/systemd/system/dremio.service

同时比较推荐修改下numa配置,如果使用numa的话
参考为

 
ExecStart=/usr/bin/numactl --interleave=all /opt/dremio/bin/dremio start-fg

补丁

主要是解决关于中文乱码的一些问题,包含了calcite 的以及mssql 还有mysql 的
查询过滤乱码的问题,dremio-env

 
DREMIO_JAVA_SERVER_EXTRA_OPTS="-Dsaffron.default.charset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE -Dsaffron.default.nationalcharset=UTF-16LE"

mssql 链接扩展
拷贝jar包即可
参考:https://github.com/rongfengliang/my-dremio-mssql-connector
mysql 低版本链接乱码问题
具体要看官方版本依赖的mariadb 了,对于2.4 之前的中文肯定是有问题的,推荐替换为最新版本的
参考:

升级

官方提供的工具还是比较方便的,直接可以使用,方便进行master kv storage 的数据更新,具体可以参考官方文档

参考资料

https://docs.dremio.com/deployment/standalone/standalone-tarball.html
https://www.cnblogs.com/rongfengliang/p/14438381.html
https://www.cnblogs.com/rongfengliang/p/14440533.html
https://github.com/rongfengliang/my-dremio-mssql-connector

posted on   荣锋亮  阅读(242)  评论(0编辑  收藏  举报

编辑推荐:
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
历史上的今天:
2020-02-24 postgres elasticsearch fdw 学习
2020-02-24 使用vcpkg 管理c&&c++ 包
2020-02-24 postgres pg_cron 扩展连接远程pg server
2020-02-24 hasura graphql-engine v1.1.0 发布了
2020-02-24 使用 cstore fdw 加速hasura graphql-engine的查询
2020-02-24 pgspider cstore fdw docker 镜像试用
2019-02-24 Optimizing Docker Images for Rust Projects

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示