Doris 初识 -安装

美团Doris 使用： https://zhuanlan.zhihu.com/p/128068950

官网发布文档： http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html

Apache Doris官方网站：http://doris.incubator.apache.org

Apache Doris Github：https://github.com/apache/incubator-doris

 

关于open file limit问题解决

如果遇到open file limit问题

Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl

修改方法：
（1）ulimit -HSn 102400
这只是在当前终端有效，退出之后，open files 又变为默认值。
（2）将ulimit -HSn 102400写到/etc/profile中，因为每次登录终端时，都会自动执行/etc/profile。
（3）令修改open files的数值永久生效，则必须修改配置文件：/etc/security/limits.conf  在这个文件后加上：
* soft nofile 102400
* hard nofile 102400
这种方法需要重启机器才能生效。 (第三种测试无效，建议第二种)

新装的linux 默认只有1024 ，当作负载较大的服务器时，很容易遇到error: too many open files。因此，需要将其改大，在/etc/security/limits.conf最后增加：

*               soft    nofile           65535
*               hard   nofile           65535
*               soft    noproc         65535
*               hard   noproc         65535

 

 

 

 

 

 

权限问题：

 sudo  chown  -R    sea:sea   ./fe   

 sudo  chown  -R    sea:sea   ./be  

 

环境：Ubuntu16.04  jdk8

 doris编译： 或者直接下载:  wget https://palo-cloud-repo-bd.bd.bcebos.com/baidu-doris-release/DORIS-0.12.21-release.tar.gz

## 1. 开启
```bash
docker run -d -it \
--name doris \
--net=host \
-v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2

docker exec -it 514efb88fa99 bash
```

## 2. 修改
```bash
vim /usr/share/maven/conf/settings.xml
```
```xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
```

## 3. 下载
```bash
git clone https://github.com/apache/incubator-doris.git

建议直接下载： https://github.com/baidu-doris/incubator-doris/releases     sudo docker cp  incubator-doris-DORIS-0.13.12-release.tar.gz  10fc0e2c0608:/root/    
```

## 4. 编译
```bash
sh build.sh
```

编译完成后，产出文件在 output/ 目录中。

 

IP 绑定

因为有多网卡的存在，或因为安装过 docker 等环境导致的虚拟网卡的存在，同一个主机可能存在多个不同的 ip。当前 Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时，必须通过 priority_networks 配置项来强制指定正确的 IP。

priority_networks 是 FE 和 BE 都有的一个配置，配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时，告诉进程应该绑定哪个IP。示例如下：

priority_networks=10.1.3.0/24       这配置可以使用 ip  a  查看

这是一种 CIDR 的表示方法。FE 或 BE 会根据这个配置项来寻找匹配的IP，作为自己的 localIP。

注意：当配置完 priority_networks 并启动 FE 或 BE 后，只是保证了 FE 或 BE 自身的 IP 进行了正确的绑定。而在使用 ADD BACKEND 或 ADD FRONTEND 语句中，也需要指定和 priority_networks 配置匹配的 IP，否则集群无法建立。举例：

BE 的配置为：priority_networks=10.1.3.0/24

但是在 ADD BACKEND 时使用的是：ALTER SYSTEM ADD BACKEND "192.168.0.1:9050";

则 FE 和 BE 将无法正常通信。

这时，必须 DROP 掉这个添加错误的 BE，重新使用正确的 IP 执行 ADD BACKEND。

FE 同理。

BROKER 当前没有，也不需要 priority_networks 这个选项。Broker 的服务默认绑定在 0.0.0.0 上。只需在 ADD BROKER 时，执行正确可访问的 BROKER IP 即可。

 

 

 

单 FE 部署    建议结合官网文档：http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html
编译doris: 见上面
安装位置：
/opt/doris

配置文件
(需要创建 palo-meta文件夹)
cd fe
mkdir doris-meta
1) Fe.conf

meta_dir = ${DORIS_HOME}/doris-meta

http_port = 18030
rpc_port = 9020
query_port = 9030
edit_log_port = 9010
priority_networks=192.168.18.129/24

 

 

2) be.conf

be_port = 9060
be_rpc_port = 9070
webserver_port = 18040
heartbeat_service_port = 9050
brpc_port = 18060

storage_root_path = /storage1/be/data;/storage2/be/data;/storage3/be/data
#storage_root_path = ${DORIS_HOME}/storage

priority_networks=192.168.18.129/24 

 

3) 创建目录

mkdir -p   /storage1/be/data  /storage2/be/data   /storage3/be/data

 

启动fe
cd /opt/doris/fe
sh bin/start_fe.sh --daemon

FE进程启动进入后台执行。日志默认存放在 fe/log/ 目录下。如启动失败，可以通过查看 fe/log/fe.log 或者 fe/log/fe.out 查看错误信息。

 

 

连接fe
mysql -h host -P 9030 -uroot 

修改root 用户密码 (如果需要 ):   >   set password for 用户名@localhost = password('新密码');  

其中 host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。 

set password for root = password('root');  

 

添加be
ALTER SYSTEM ADD BACKEND "host1:9050";
ALTER SYSTEM ADD BACKEND "host2:9050";
ALTER SYSTEM ADD BACKEND "host3:9050";
(
如果使用多组户功能，则执行以下命令添加BE:
ALTER SYSTEM ADD FREE BACKEND “host:port”;
)

其中 host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port。

• BE 进程将启动并进入后台执行。日志默认存放在 be/log/ 目录下。如启动失败，可以通过查看 be/log/be.log 或者 be/log/be.out 查看错误信息。

• 查看BE状态

  使用 mysql-client 连接到 FE，并执行 SHOW PROC '/backends'; 查看 BE 运行情况。如一切正常，isAlive 列应为 true。

如果操作失误L可以删除:  ALTER SYSTEM DECOMMISSION BACKEND "host1:port" 

 

 

启动be
cd /opt/doris-0.9.0/be
sh bin/start_be.sh  

显示fe与be状态
show proc "/frontends";
show proc "/backends";

 

 

fe高可用部署 :   http://doris.incubator.apache.org/master/zh-CN/installing/install-deploy.html#%E9%9B%86%E7%BE%A4%E9%83%A8%E7%BD%B2