摘要：drill 是基于netty 4 做为rpc的底层处理，同时基于了 protobuf 进行通信层的处理（减少堆数据的传输）客户端以及server 都利用了CompleteRpcMessage protobuf 消息包装进行request，response 以及errors 处理通信是使用流模式 进行 阅读全文

摘要：默认http 存储插件的配置，参考 { "type": "http", "cacheResults": false, "connections": { "sunrise": { "url": "https://api.sunrise-sunset.org/json", "method": "GET" 阅读全文

摘要：以下是对于http 存储插件的试用 环境准备 docker 启动drill (1.18.0 ) docker run -i --name drill-1.18.0 -p 8047:8047 -p 31010:31010 -p 31011:31011 -p 31012:31012 -t apache/ 阅读全文

摘要：apache drill 1.18.0 在九月6号，发布了1.18.0 版本，目前官方文档更新的不是很及时，以下大概说明下新的特性 drill metadata 功能，这个文档有写到，可以加速drill 的查询处理，同时方便bi工具 格式插件hdf5 http rest api 存储插件（很期待的功 阅读全文

摘要：drill 提供了web ui 以及rest api 我们基于rest api 可以开发相关的业务系统（不需要依赖jdbc 驱动） 以下是简单梳理rest api 的使用（关于暴露的系统ui api 没有说明） 查询 api 地址:POST /query.json 请求提内容 { "queryTyp 阅读全文

摘要：我们可以通过分析查询计划以及profiles 识别引起性能问题的原因，在识别了引起的原因之后我们可以 尝试进行以下操作来解决: 修改查询计划选项 修改广播 join选项 在1/2 阶段聚合切换 基于hash 的内存操作约束开启以及关闭 开启查询队列 控制并行度 数据的组织以及分片的修剪 修改存储格式 阅读全文

摘要：尽管drill 是schema on fly 的但是，提供scehma 以及统计信息可以加速drill 数据的处理，所以drill 1.17 添加了Metastore（基于iceberg tables） 简单介绍 模式感知执行的显着优势： 在计划时间： 更好的计划优化范围。 由于类型已知，因此可以正 阅读全文

摘要：drill 数据schema on fly 模式的，但是drill也提供了metadata tables 可以 方便的查看数据源（或者schema） drill 提供的schema table schema catalogs tables columns views files partitions 阅读全文

摘要：drill 支持多用户共享同一个drillbit以及运行在独立drillbit节点的集群模式 drill可以与以下大数据工具运行在一起: mapreduce yarn hbase hive && pig spark 当我们与其他工具一起运行的时候需要关注：内存，cpu，以及磁盘的配置 当用户共享dr 阅读全文

摘要：drill 官方没有提供直接的jdbc支持，但是mapr 提供了一个 下载jdbc 驱动 可以直接在drill 的安装包提取，也可以在https://apache.osuosl.org/drill/ 地址下载 ## drill jdbc 连接格式 drill jdbc 驱动支持了多种模式的连接配置: 阅读全文

摘要：具体可以参考以前整理的一个（比较简单，主要是关于常用数据库的） https://www.cnblogs.com/rongfengliang/p/6926009.html https://www.cnblogs.com/rongfengliang/p/6940485.html 说明 官方文档对于存储插 阅读全文

摘要：安全是一个比较重要的，但是在实际的开发中，大家可能关注的不是很多，drill 安全配置包含： 认证： 基于Kerberos模式，用户密码模式，签名 加密： 基于Kerberos提供数据的保密以及一致性 授权： 当前主要基于hive 授权配置模拟用户 模拟： 配置模拟用户，配置入展模拟，使用hive配 阅读全文

摘要：关于 drill 的配置主要包含了： 内存配置 多租户配置 安全配置 性能以及功能配置 查询profile以及数据配置配置 内存配置 drill 使用包含了jvm 的直接内存，堆内存，核心使用最多的是直接内存，默认是8G，但是推荐配置更好（drill 高效使用了内存） 大部分场景drill使用的是内 阅读全文

摘要：具体案例来自官方文档，只是简单的说明下，详细的可以参考官方文档 环境准备 运行drill 测试环境可以通过docker运行，简单方便 简单查询 查询json文件 SELECT * FROM cp.`employee.json` LIMIT 3; 查询parquet文件 SELECT * FROM d 阅读全文

摘要：前边有简单介绍过drill的整体设计，以下是关于查询执行处理的简单介绍drill 包含了一个foreman 组件 foreman 主要 是进行会话以及sql 处理 sql 处理过程 参考图： 说明： 从客户端或应用程序接收查询的Drillbit成为查询的foreman，并驱动整个查询。Foreman 阅读全文

摘要：以前大概有介绍过drill，drill 是一个低延迟的分布式查询引擎，drill 的核心是 drillbit 服务 该服务负责接受来自客户端的请求，同时处理查询并将结果返回给客户端 参考通信架构图 核心组件图 rpc endpoint 是一个低开销的，以及protobuf的rpc 通信处理，以及zk 阅读全文

摘要：测试环境的运行还是比较简单的，我们核心的是jvm drill 运行模式 嵌入式模式 比较适合测试（当然基于单机运行还是可以的,注意单机生产需要修改一些配置参数，很重要） 运行命令 bin/drill-embedded 分布式集群模式 依赖zk，我们需要安装zk，zk 的集群节点需要至少3个节点（奇数 阅读全文

摘要：drill 是一个大数据sql 查询引擎（当然对于hdf也是支持写入的，我们的主要场景还是数据查询） drill 支持的数据格式 drill 支持的数据格式较多，以下是一个简单的说明 csv，tsv，psv或者其他任意用分隔符字段的数据（当然我们可以自己配置数据解析——通过存储插件配置选项） jso 阅读全文

摘要：drill 支持s3数据的查询，同时新版的通过简单配置就可以实现minio 的集成 测试使用docker 运行drill 参考 https://www.cnblogs.com/rongfengliang/p/9846899.html，minio 安装也可以使用docker minio bucket 阅读全文

摘要：drill 1.14 版本已经官方支持使用docker 直接运行可，还是比较方便的，尽管镜像 有点大，但是实际测试使用还是比较方便的，实际上自己做一个也比较简单。 下载镜像 docker pull drill/apache-drill:1.14.0 运行 命令行模式 docker run -i -- 阅读全文