lenmom

博客园 首页 新随笔 联系 订阅 管理
  517 随笔 :: 0 文章 :: 36 评论 :: 112万 阅读

随笔分类 -  Apache Doris

摘要:1. pull doris dev docker image 2. dowload doris-0.11.20 source local 3.build 阅读全文
posted @ 2019-11-19 22:02 老董 阅读(662) 评论(0) 推荐(0) 编辑

摘要:1. background in most cases, we want to execute sql script in doris routinely. using azkaban, to load data,etc.And we want to pass parameters to the s 阅读全文
posted @ 2019-11-04 18:23 老董 阅读(526) 评论(0) 推荐(0) 编辑

摘要:doris has envolved many thirdparty components since v0.9. so the build progress has changed a lot since v0.9, in this article, I will demostrate the p 阅读全文
posted @ 2019-08-09 15:04 老董 阅读(984) 评论(0) 推荐(0) 编辑

摘要:1. 安装必备 yum groupinstall "Development Tools" yum install glibc-static libstdc++-static 2. 编译安装 gcc http://ftp.tsukuba.wide.ad.jp/software/gcc/releases 阅读全文
posted @ 2019-08-08 08:22 老董 阅读(738) 评论(0) 推荐(0) 编辑

摘要:https://github.com/baidu-doris/incubator-doris/releases 阅读全文
posted @ 2019-07-20 17:43 老董 阅读(355) 评论(0) 推荐(0) 编辑

摘要:1. 安装docker 详情请参见本人博客 2. 编译doris 详情请参见doris官网文档 3. 在编译好的doris output文件夹下编写两个Dockerfile 3.1 Dockerfile_fe 3.2 Dockerfile_be Centos 7 be docker file Unu 阅读全文
posted @ 2019-04-11 16:01 老董 阅读(1859) 评论(0) 推荐(0) 编辑

摘要:1. 时间维度表结构 2. C#生成预置数据代码 3. 结果预览 阅读全文
posted @ 2019-02-21 16:48 老董 阅读(374) 评论(0) 推荐(0) 编辑

摘要:Doris默认端口 Yarn 默认端口: 如图,端口冲突,在混合部署的情况下,会出现2个问题: 1. Yarn ResourceManager启动不起来 解决办法:修改yarn.resourcemanager.scheduler.address的端口,具体做法为: 添加或修改(如果已经配置了yarn 阅读全文
posted @ 2019-01-05 16:41 老董 阅读(1882) 评论(0) 推荐(1) 编辑

摘要:0 背景概述 Doris完全兼容了mysql协议,并且Doris FE本身通过多follower选举机制选举出master,可以保证fe本身的高可用性,也可以通过加入observer fe节点来提高fe的读并发能力。但是对于前端连接来讲,还是需要显示执行要连接的fe的url(jdbc)或host i 阅读全文
posted @ 2018-12-10 16:15 老董 阅读(5427) 评论(0) 推荐(3) 编辑

摘要:下面一段文字是摘自doris官方文档:注:在生产环境中,所有实例都应使用守护进程启动,以保证进程退出后,会被自动拉起,如 Supervisor。如需使用守护进程启动,需要修改各个 start_xx.sh 脚本,去掉最后的 & 符号 首先安装supervisor,具体请参照本人的另一篇博客CentOS 阅读全文
posted @ 2018-11-17 17:07 老董 阅读(6198) 评论(1) 推荐(3) 编辑

摘要:supervisor没有发布在标准的CentOS源在,需要安装epel源。这种方式安装的可能不是最新版本,但比较方便,安装完成之后,配置文件会自动帮你生成。 默认配置文件:/etc/supervisord.conf 进程管理配置文件放到:/etc/supervisord.d/目录下即可 1. 首先确 阅读全文
posted @ 2018-11-17 16:12 老董 阅读(2015) 评论(0) 推荐(0) 编辑

摘要:情景再现: 在修复hadoop集群某一个datanode无法启动的问题时,搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录,再重新单独启动该datanode即可; 问题就出在这个误删除上,当时是在namenode的hadoop/hdfs/目录下,然后就执行了 阅读全文
posted @ 2018-11-12 15:13 老董 阅读(2455) 评论(0) 推荐(0) 编辑

摘要:一、产生原因 too many open files(打开的文件过多)是Linux系统中常见的错误,从字面意思上看就是说程序打开的文件数过多,不过这里的files不单是文件的意思,也包括打开的通讯链接(比如socket),正在监听的端口等等,所以有时候也可以叫做句柄(handle),这个错误通常也可 阅读全文
posted @ 2018-10-11 16:12 老董 阅读(11797) 评论(0) 推荐(0) 编辑

摘要:前提: 安装mysql odbc驱动程序,目前只不支持8.0的最新版本驱动,个人使用的是5.1.12的驱动(不支持5.2以上版本),下载地址为: x64: https://cdn.mysql.com/archives/mysql-connector-odbc-5.1/mysql-connector- 阅读全文
posted @ 2018-09-05 15:50 老董 阅读(2405) 评论(1) 推荐(0) 编辑

摘要:1. 集群规划: 2. 设定固定IP地址 3. 修改主机名:192.168.1.252 192.168.1.253 192.168.1.254 4. 修改hosts文件 5. 安装JDK(所有节点)具体到oracle官网下载 6. SSH免密登录 Precondition: install ssh 阅读全文
posted @ 2018-09-02 20:17 老董 阅读(1458) 评论(1) 推荐(0) 编辑

摘要:A. 环境准备 1. 安装jdk1.8+, Intelij IDEA 2. linux上编译好fe前端代码,主要目的是获取自动生成的代码,加入到前段工程里面去用于在idea中编译fe工程。具体编译请参照本人前期博文:CentOS 上使用vscode 调试百度大数据分析框架Apache Doris B 阅读全文
posted @ 2018-08-20 19:30 老董 阅读(1597) 评论(0) 推荐(0) 编辑

摘要:A: 前期准备工作 1. 安装vscode,详细请参见vscode官网https://code.visualstudio.com/docs/setup/linux,摘要如下: 2. 下载palo源代码,本次是基于0.8.1版本编译的 下载地址为:https://github.com/baidu/pa 阅读全文
posted @ 2018-08-15 20:40 老董 阅读(3345) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示